Signes : une plateforme interactive d'apprentissage et de contribution à la langue des signes américaine alimentée par la technologie de l'IA

Introduction générale

Signs est une plateforme en ligne innovante conçue pour aider les utilisateurs à apprendre la langue des signes américaine (ASL) et à contribuer à la communauté sourde grâce à la technologie de l'IA. Développé en partenariat avec NVIDIA, l'American Society for Deaf Children (ASDC) et l'agence de création Hello Monday/DEPT®, le site associe les concepts de retour d'information en temps réel piloté par l'IA et de collaboration avec la communauté. Que vous soyez débutant ou expert en langue des signes, vous pouvez apprendre l'ASL de manière interactive sur la plateforme ou télécharger des vidéos en langue des signes afin d'enrichir son ensemble de données open source. La plateforme ne se contente pas de fournir un outil d'apprentissage, elle s'engage également à constituer une bibliothèque de ressources vidéo en ASL de haute qualité afin de soutenir le développement de technologies plus accessibles et de jeter un pont de communication entre les personnes sourdes et les personnes entendantes. La plateforme se concentre actuellement sur la capture des mouvements de la main, et prévoit d'inclure à l'avenir la reconnaissance de signaux autres que ceux de la main, tels que les expressions faciales.

Liste des fonctions

• Module d'apprentissage de l'ASLLe site permet d'apprendre le vocabulaire de base de la langue des signes et les utilisateurs peuvent assister à des démonstrations par l'intermédiaire d'avatars en 3D.
• Système de retour d'information en temps réelLe système de gestion de l'information : il utilise des caméras et l'intelligence artificielle pour analyser les gestes de l'utilisateur et fournir des suggestions correctives instantanées.
• Fonction de contribution vidéoPermettre aux utilisateurs de télécharger des vidéos en langue des signes afin d'enrichir l'ensemble de données ASL de la plateforme.
• Soutien aux jeux de données ouvertsLes ressources vidéo de l'ASL sont validées et mises à la disposition des développeurs pour le développement d'applications d'intelligence artificielle.
• Interaction communautaire: Mise en relation des apprenants et de la communauté sourde pour faciliter le partage des connaissances et les échanges culturels.

Utiliser l'aide

Signs est une plateforme en ligne dont l'utilisation ne nécessite aucune installation. Il vous suffit de vous rendre sur https://signs-ai.com/即可开始体验 via votre navigateur. Vous trouverez ci-dessous un guide d'utilisation détaillé pour vous aider à démarrer rapidement et à tirer le meilleur parti de ses fonctionnalités.

Comment démarrer

1. Accès au site web
   Ouvrez votre navigateur et entrez l'URL https://signs-ai.com/ pour accéder à la page d'accueil. Vous verrez deux options principales : Apprendre et Contribuer. Vous pouvez consulter une partie du contenu sans vous inscrire, mais il est recommandé de créer un compte pour bénéficier de toutes les fonctionnalités.
2. Créer un compte
   Cliquez sur le bouton "S'inscrire" dans le coin supérieur droit et saisissez votre adresse électronique et votre mot de passe pour terminer votre inscription. Une fois inscrit, vous pouvez vous connecter pour enregistrer vos progrès d'apprentissage et télécharger des vidéos.
3. Exigences en matière d'équipement
   Assurez-vous que votre appareil est équipé d'une caméra (pour un retour d'information en temps réel) et d'une connexion internet stable. Il est recommandé d'utiliser un ordinateur de bureau ou un ordinateur portable pour une meilleure expérience. Les téléphones portables peuvent également être utilisés, mais l'écran plus petit peut affecter le fonctionnement.

Principales fonctions

1) Apprendre la langue des signes américaine (module d'apprentissage)

• Aller à la page d'apprentissage
  Cliquez sur "Apprendre" sur la page d'accueil pour accéder à l'interface d'apprentissage de la langue des signes. Des mots ASL courants tels que "bonjour" et "famille" sont affichés ici.
• Voir la démonstration de la prise de tête en 3D
  Sélectionnez un mot de vocabulaire et le système affiche un avatar en 3D montrant les mouvements gestuels de cette langue des signes. Vous pouvez le regarder sous différents angles pour vous assurer que vous comprenez bien les détails de chaque pose de main.
• S'entraîner et obtenir un retour d'information
  Allumez la caméra, pointez-la sur vos mains et imitez les gestes de l'avatar 3D. L'IA analyse vos mouvements en temps réel et affiche des commentaires à l'écran. Par exemple, si la position de votre doigt est incorrecte, une invite apparaît : "Veuillez lever votre petit doigt" ou "Votre paume doit être tournée vers la gauche". Nous vous recommandons de vous entraîner dans un environnement calme et bien éclairé pour améliorer la précision de la reconnaissance.
• étude avancée
  La plateforme propose un modèle d'apprentissage graduel qui augmente progressivement la difficulté, du vocabulaire débutant aux phrases complexes. Après avoir franchi chaque étape, il est possible de débloquer davantage de contenu pour les apprenants de longue date.

2. contribuer à des vidéos en langue des signes (module Contribute)

• Aller à la page Contribuer
  Cliquez sur "Contribuer" sur la page d'accueil pour accéder à l'écran de téléchargement de la vidéo. Vous y trouverez une liste de mots actuellement requis par la plateforme, tels que "amour" ou "école".
• enregistrement vidéo
  Cliquez sur le bouton "Enregistrer" à côté du vocabulaire cible et le système active la caméra. Suivez les instructions pour effectuer le mouvement correspondant en langue des signes et enregistrez une vidéo de 3 à 5 secondes. Après l'enregistrement, vous pouvez prévisualiser la vidéo pour vous assurer que l'action est clairement visible.
• Soumission et validation
  Cliquez sur "Soumettre" pour télécharger votre vidéo. Toutes les soumissions sont examinées par des interprètes sourds et certifiés pour s'assurer de leur exactitude. Une fois examinée, votre vidéo sera ajoutée à l'ensemble de données et vous recevrez une note de remerciement.
• mise en garde
  Veillez à ce que l'arrière-plan soit simple lors de l'enregistrement, évitez l'obscurcissement des mains et veillez à ce que les mouvements soient conformes à l'ASL. La plateforme fournira une vidéo de démonstration à titre de référence.

3. utilisation approfondie du système de retour d'information en temps réel

• Réglage de l'angle de la caméra
  Veillez à ce que les deux mains soient au centre du cadre lors de l'apprentissage ou de l'enregistrement. Si la reconnaissance par l'IA échoue, ajustez la hauteur ou la distance de la caméra. En général, une distance de 50 à 80 cm est suffisante.
• Comprendre les suggestions de retour d'information
  Le retour d'information ne se limite pas à un texte, mais parfois à un marqueur visuel vert (correct) ou rouge (incorrect). Répétez l'exercice jusqu'à ce que la lumière verte s'allume, indiquant que le geste est complètement correct.
• Optimiser l'expérience
  Si le retour d'information est retardé, vérifiez la vitesse du réseau ou réduisez la résolution de l'écran. La plateforme prend en charge la commutation manuelle de la netteté pour s'adapter aux différentes performances des appareils.

Fonctions vedettes Détails de l'opération

• Avatar 3D interactif
  Cliquez sur l'avatar pour le mettre en pause, le faire pivoter ou l'agrandir afin d'observer les détails du geste. Les débutants peuvent imiter progressivement grâce à la fonction "slow play".
• Importance des contributions des ensembles de données
  Chaque vidéo téléchargée a permis à la plateforme d'accumuler des données, pour aboutir à une base de données cible contenant 400 000 clips vidéo. Cela permet non seulement de soutenir l'apprentissage individuel, mais aussi de faire progresser l'utilisation de la technologie de l'IA dans le domaine de la surdité, comme la reconnaissance de la langue des signes par vidéoconférence.
• Participation de la communauté
  Le site est régulièrement mis à jour avec un classement des contributions pour mettre en valeur les utilisateurs actifs. Vous pouvez également échanger des expériences d'apprentissage ou faire des suggestions avec d'autres personnes dans la zone de forum.

Conseils d'utilisation

• Conseils pour les débutants
  Commencez par le vocabulaire de base et pratiquez 10 minutes par jour, en vous familiarisant progressivement avec le schéma des gestes.
• Suggestions pour le téléchargement de vidéos
  Vérifiez la vidéo de démonstration avant de l'enregistrer afin de vous assurer que les mouvements sont standardisés et d'éviter les modifications répétitives.
• Support technique
  Si vous avez des questions, vous pouvez envoyer un courriel à "Contactez-nous" au bas du site web et l'équipe vous répondra dans les 48 heures.

Avec les étapes ci-dessus, vous pouvez facilement maîtriser les fonctions principales de Signs-ai pour améliorer vos compétences en ASL et contribuer à la communauté en même temps. Le site web est simple et intuitif, adapté aux utilisateurs de tous âges, en particulier aux familles d'enfants sourds ou aux passionnés de la langue des signes, c'est une plateforme indispensable pour l'apprentissage et le partage.