Gemini Robotics On-Device - Google lanza el primer modelo de inteligencia incorporada que funciona localmente

¿Qué es Gemini Robotics On-Device?

Géminis Robotics On-Device es un modelo de visión-lenguaje-acción de Google DeepMind que permite el funcionamiento local de robots. El modelo es capaz de realizar tareas fuera de línea, completando acciones detalladas basadas en comandos de lenguaje natural, como doblar ropa y abrir bolsas. El modelo es compatible con una amplia gama de ontologías robóticas, tiene una baja latencia de respuesta, se adapta rápidamente a nuevas tareas y aprende nuevas acciones después de sólo 50 a 100 muestras. Google ofrece el SDK Gemini Robotics para ayudar a los desarrolladores a evaluar e implantar, reducir los costes y riesgos de desarrollo y aportar nuevas oportunidades de expansión de las aplicaciones robóticas.

Características principales de Gemini Robotics On-Device

• Funcionamiento offline localNo es necesario depender de la nube, permite ejecutar tareas localmente en el robot y funciona de forma estable cuando la red es débil o no existe.
• seguir instrucciones en lenguaje naturalComprende el lenguaje humano natural, ejecuta órdenes complejas de varios pasos y actúa de acuerdo con la intención humana.
• Realización de tareas de manipulación fina: Admite una amplia gama de robots que pueden realizar tareas delicadas, como abrir bolsas o doblar ropa.
• Rápida adaptación a nuevas tareas: Sólo se necesita un pequeño número de muestras (50 - 100) para afinar, adaptarse a nuevas tareas y aprender nuevas habilidades rápidamente.
• Implantación multiplataformaPermite la migración a diferentes plataformas robóticas, como robots bípedos y humanoides, con una gran capacidad de generalización.

Dirección del sitio web oficial de Gemini Robotics On-Device

• Dirección del proyecto:: https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/

Cómo utilizar Gemini Robotics en el dispositivo

• Requisitos de hardware:Las plataformas compatibles actualmente son, entre otras, el robot de doble brazo Franka FR3 y el robot humanoide Apollo de Apptronik.
• Obtenga el SDK de Gemini Robotics:Descargue el SDK de Gemini Robotics desde el sitio web oficial. el SDK proporciona todas las herramientas y la documentación necesarias para evaluar e implantar el modelo.
• Instalación y configuración del SDKInstale todas las dependencias necesarias de acuerdo con la documentación del SDK.
• Entorno de configuraciónConfigure el entorno de desarrollo como se describe en la documentación.
• Despliegue de modelosCargue el modelo Gemini Robotics On-Device utilizando las herramientas proporcionadas con el SDK. Asegúrese de que el archivo del modelo está completo y la ruta es correcta.
• Desarrollo y formación
  • Preparación de datosPreparación de los datos que se utilizarán para el ajuste. Prepara de 50 a 100 muestras de demostración, en función de los requisitos del modelo.
  • Ajuste del modeloAjuste del modelo con las herramientas de ajuste del SDK.
  • Verificación del rendimientoPrueba el rendimiento del modelo ajustado en tareas reales para garantizar que puede realizar la tarea con precisión.
• Integración y despliegue:Integre el modelo ajustado en su sistema robótico. Despliegue el modelo en el dispositivo robótico para asegurarse de que puede ejecutarse localmente. Realice pruebas de tareas en el mundo real para verificar la estabilidad y capacidad de respuesta del modelo.

Principales ventajas de Gemini Robotics On-Device

• Funcionamiento offline localEjecuta de forma totalmente local en el robot, sin dependencias de la nube, lo que garantiza una ejecución estable de las tareas en entornos de red débiles o sin red.
• Buena comprensión lingüística: Soporte para la comprensión de órdenes en lenguaje natural y la realización de tareas complejas de varios pasos para mejorar la naturalidad de la interacción persona-ordenador.
• Capacidad para operar con precisión: Admite una amplia gama de ontologías de robots que pueden realizar tareas delicadas, como abrir bolsas o doblar ropa.
• Rápida adaptación a nuevas tareas: Sólo se necesitan entre 50 y 100 muestras para el ajuste fino, la rápida adaptación a nuevas tareas y el aumento de la agilidad del robot.
• Capacidad de despliegue multiplataformaPermite la migración a diferentes plataformas robóticas, como robots bípedos y humanoides, con una gran capacidad de generalización.
• Respuesta de baja latenciaArquitectura optimizada para la inferencia de baja latencia, adecuada para aplicaciones sensibles a la latencia y eficiencia mejorada.
• mecanismo de seguridadUna solución holística basada en la seguridad semántica y física para garantizar la seguridad de los robots cuando realizan tareas.
• Apoyo al desarrollo: Proporciona un potente SDK para ayudar a los desarrolladores a evaluar e implantar modelos y reducir los costes de desarrollo.

¿A quién va dirigido Gemini Robotics On-Device?

• fabricante de robotsMejora de la inteligencia robótica basada en modelos y desarrollo de productos más competitivos.
• Ingeniero de automatización:Optimizar los procesos automatizados para mejorar la productividad y la calidad.
• investigador (científico): Se utiliza en la investigación sobre la combinación de robótica e inteligencia artificial para explorar nuevos avances tecnológicos.
• profesional sanitario: Aplicación de modelos en el ámbito paramédico para ofrecer una mejor atención al paciente.
• usuario domésticoAdquiera un robot equipado con este modelo y utilícelo para las tareas domésticas, etc. para mejorar la comodidad de la vida.