SignGemma - Modèle de traduction de la langue des signes de Google DeepMind

Qu'est-ce que SignGemma ?

SignGemma est le modèle d'IA d'interprétation de la langue des signes le plus puissant au monde de Google DeepMind, permettant une traduction précise de la langue des signes américaine (ASL) en texte anglais. Basé sur un entraînement multimodal, le modèle combine des données visuelles et textuelles pour capturer les actions en langue des signes en temps réel et les traduire rapidement en texte avec une latence de réponse inférieure à 0,5 seconde.SignGemma est conçu avec une architecture très efficace qui fonctionne sur des GPU de qualité grand public, prend en charge le déploiement côté extrémité et protège la vie privée des utilisateurs.SignGemma reconnaît les gestes de base, comprend les contextes et les expressions d'émotions, et améliore la cohérence des phrases longues sur la base d'un cadre de compréhension sémantique 3D.SignGemma est conçu avec la capacité de reconnaître les gestes de base, de comprendre les contextes et les expressions d'émotions, et d'améliorer la cohérence des phrases longues. SignGemma est principalement utilisé dans les domaines de l'aide à l'apprentissage, du développement des ressources éducatives et des services publics, fournissant des outils de communication plus pratiques aux malentendants et contribuant au développement inclusif de la société.

Principales caractéristiques de SignGemma

• traduction en temps réelLe logiciel de traduction : traduit rapidement les mouvements de la langue des signes en texte avec un délai de moins de 0,5 seconde, ce qui convient à la communication en temps réel.
• une identification préciseLes langues de travail : aide à la reconnaissance des gestes de base, à la compréhension du contexte et des expressions émotionnelles, et à l'exactitude des traductions.
• Prise en charge multilingueLa traduction de la langue des signes américaine (ASL) vers l'anglais est actuellement prise en charge.
• Déploiement en bout de chaîneLe système d'information sur les droits de l'homme et les libertés fondamentales : il est possible de l'exécuter sur des dispositifs locaux afin de protéger la vie privée de l'utilisateur, ce qui convient à des scénarios exigeant une grande confidentialité.

Comment utiliser SignGemma

• Demande d'accès au test anticipé: Développeurs sur la base dePage d'application de SignGemmaBénéficier d'un accès anticipé aux tests.

Les points forts de SignGemma

• haute précisionLes langues des signes : reconnaissance précise des mouvements en langue des signes, compréhension du contexte et de l'émotion, traduction cohérente de longues phrases.
• faible latenceTraduction en temps réel avec un délai de réponse inférieur à 0,5 seconde, adaptée à la communication en temps réel.
• Vie privéeLa protection de la vie privée des utilisateurs est assurée par le déploiement côté utilisateur et le traitement local des données.
• Architecture efficaceLes applications de l'UE sont en mesure de fonctionner sur des GPU grand public avec des exigences matérielles réduites et des coûts gérables.
• formation multimodale: Combinaison de données visuelles et textuelles pour capturer la dynamique des gestes et les mouvements non manuels.
• Compréhension émotionnelle et contextuelleLa traduction est un outil de travail qui capte les expressions faciales et les gestes du corps pour offrir une traduction naturelle.
• Large éventail de scénarios d'applicationLes droits de l'homme : Appliquer à l'éducation, aux soins de santé, aux services publics et à d'autres domaines afin de faciliter la communication accessible.

A qui s'adresse SignGemma ?

• les malentendantsLes services de communication : Utilisés dans la communication quotidienne, l'aide à l'apprentissage, la communication médicale et les scénarios de service public pour aider les utilisateurs à interagir avec les autres de manière plus commode.
• éducateurLe programme d'enseignement de la langue des signes est le suivant : enseignement assisté, développement de ressources éducatives en langue des signes et promotion de l'enseignement pour les malentendants.
• le personnel médical: Aider les médecins à communiquer efficacement avec les patients malentendants en milieu médical et améliorer la qualité des services médicaux.
• Personnel des services publicsLes personnes malentendantes ont accès à l'information et aux services dans les transports publics, les aéroports, etc.
• chercheur: Fournir des outils et des références pour la recherche et le développement technologique dans le domaine de la langue des signes.
• les massesLe but est de promouvoir la communication avec les personnes souffrant de déficiences auditives et de favoriser un développement socialement inclusif.