SignGemma - Modelo de traducción del lenguaje de signos de Google DeepMind

¿Qué es SignGemma?

SignGemma es el modelo de inteligencia artificial para la interpretación del lenguaje de signos más potente del mundo, creado por Google DeepMind, que permite traducir con precisión el lenguaje de signos estadounidense (ASL) a texto en inglés. Basado en un entrenamiento multimodal, el modelo combina datos visuales y textuales para captar las acciones del lenguaje de signos en tiempo real y traducirlas rápidamente a texto con una latencia de respuesta inferior a 0,5 segundos.SignGemma está diseñado con una arquitectura muy eficiente que se ejecuta en GPU de consumo, admite la implantación en el extremo y protege la privacidad del usuario.SignGemma reconoce gestos básicos, comprende contextos y expresiones de emociones, y mejora la coherencia de frases largas basándose en un marco de comprensión semántica 3D. SignGemma se utiliza principalmente en los ámbitos de la ayuda al aprendizaje, el desarrollo de recursos educativos y los servicios públicos, proporcionando herramientas de comunicación más cómodas para las personas con deficiencias auditivas y contribuyendo al desarrollo inclusivo de la sociedad.

Características principales de SignGemma

• traducción en tiempo real: Traduce rápidamente los movimientos del lenguaje de signos en texto con un retardo inferior a 0,5 segundos, lo que resulta idóneo para la comunicación en tiempo real.
• identificación precisa: Ayuda para reconocer gestos básicos, comprender el contexto y las expresiones emocionales y garantizar traducciones precisas.
• Soporte multilingüeActualmente se admite la traducción del lenguaje de signos americano (ASL) al inglés.
• Implantación en el extremo: Admite la ejecución en dispositivos locales para proteger la privacidad del usuario, adecuado para escenarios con elevados requisitos de privacidad.

Cómo utilizar SignGemma

• Solicitar acceso anticipado a las pruebasDesarrolladores basados enPágina de solicitud de SignGemmaObtenga acceso anticipado de prueba.

Puntos fuertes de SignGemma

• alta precisiónReconocimiento preciso de los movimientos del lenguaje de signos, comprensión del contexto y la emoción, y traducción coherente de frases largas.
• baja latencia: Traducción en tiempo real con un retardo de respuesta inferior a 0,5 segundos, adecuada para la comunicación en tiempo real.
• Privacidad: Admite la implantación en el extremo y el tratamiento local de los datos para proteger la privacidad del usuario.
• Arquitectura eficiente: Admite la ejecución en GPU de consumo con bajos requisitos de hardware y costes manejables.
• formación multimodal: Combinación de datos visuales y textuales para captar la dinámica de los gestos y los movimientos no manuales.
• Comprensión emocional y contextual: Capta las expresiones faciales y los gestos corporales para ofrecer una traducción natural.
• Amplia gama de aplicaciones: Aplíquese a la educación, la sanidad, los servicios públicos y otros ámbitos para facilitar una comunicación accesible.

Para quién es SignGemma

• discapacidad auditiva: Se utiliza en la comunicación diaria, la asistencia al aprendizaje, la comunicación médica y los escenarios de servicio público para ayudar a los usuarios a interactuar con los demás de forma más cómoda.
• educadorEnseñanza asistida, desarrollo de recursos educativos en lengua de signos y promoción de la educación de las personas con discapacidad auditiva.
• personal médico: Ayudar a los médicos a comunicarse eficazmente con pacientes con deficiencias auditivas en entornos médicos y mejorar la calidad de los servicios médicos.
• Personal de los servicios públicos: Ayudar a las personas con discapacidad auditiva a acceder a la información y los servicios en los transportes públicos, aeropuertos, etc.
• investigador: Proporcionar herramientas y referencias para la investigación y el desarrollo tecnológico del lenguaje de signos.
• las masasPromover la comunicación con las personas con deficiencias auditivas y fomentar un desarrollo social integrador.