Genie Envisioner: la plataforma robótica de código abierto de uso general de Jiyuan con Beihang y otras entidades

¿Qué es Genie Envisioner?

Genie Envisioner (GE) es una plataforma unificada para el funcionamiento de robots desarrollada por el equipo de Genie Robotics en colaboración con la Universidad Nacional de Singapur y la Universidad de Aeronáutica y Astronáutica de Pekín. El núcleo de GE consta de tres componentes: GE-Base, GE-Act y GE-Sim. GE-Base es un modelo de difusión de vídeo basado en comandos que captura la dinámica de las interacciones de los robots en el mundo real. -Act se basa en GE-Base y transforma las representaciones potenciales en trayectorias de acción ejecutables, soportando robots con diferentes morfologías.GE-Sim es un simulador neural condicionado por la acción que genera vídeos de simulación de alta fidelidad para entrenamiento y evaluación.

Características de Genie Envisioner

• plataforma operativa unificada: Genie Envisioner es una plataforma operativa genérica orientada a robots que se adapta a una amplia gama de morfologías robóticas y permite el procesamiento de extremo a extremo, desde la detección hasta la ejecución.
• Ensayo mental y planificación de la acciónEl modelo "Imaginar primero, actuar después", en el que el robot genera el curso de acción óptimo mediante el ensayo mental y luego lo ejecuta en el mundo real, mejora la precisión y eficacia de la ejecución de tareas.
• fusión multimodalEl modelo GE-Base se basa en una técnica de difusión de vídeo basada en comandos que capta la dinámica espaciotemporal y semántica de las interacciones robóticas, lo que permite la fusión multimodal de la visión, el habla y la acción.
• Simulación y formación de alta fidelidadGE-Sim : GE-Sim sirve como simulador neuronal de las condiciones de acción, generando vídeos de simulación de alta fidelidad, apoyando el entrenamiento y la evaluación a gran escala y ayudando a los robots a adaptarse mejor a entornos complejos.
• Parámetros de evaluación normalizadosProporciona el conjunto de parámetros EWMBench para medir la fidelidad visual, la coherencia física y la alineación de comandos y movimientos para facilitar la evaluación normalizada del rendimiento de los robots.
• Código abierto y escalabilidadTodos los códigos, modelos y puntos de referencia se harán públicos para facilitar su exploración y aplicación por parte de investigadores y desarrolladores con el fin de hacer avanzar la robótica.

Principales ventajas de Genie Envisioner

• Gran versatilidadEl sistema de control robótico: puede adaptarse a una amplia gama de formas robóticas y soportar diferentes tipos de tareas robóticas con una amplia aplicabilidad.
• capacidad integralEl robot: realiza el procesamiento integrado de todo el proceso, desde la detección del entorno y la comprensión de las instrucciones hasta la ejecución de las acciones, y mejora la autonomía y la inteligencia del robot.
• Mecanismo de ensayo mental: Optimización del curso de acción y reducción de errores y riesgos en operaciones reales mediante previsualizaciones en un entorno simulado.
• simulación de alta fidelidadGE-Sim genera vídeos de simulación de gran realismo que facilitan el entrenamiento de robots y la optimización de estrategias.
• Evaluación normalizada: Proporciona la suite de evaluación comparativa EWMBench, que facilita la evaluación normalizada del rendimiento de los robots y fomenta la normalización de la tecnología.

¿Cuál es la página web oficial de Genie Envisioner?

• Página web del proyecto:: https://genie-envisioner.github.io/
• Repositorio GitHub:: https://github.com/AgibotTech/Genie-Envisioner
• Documento técnico arXiv:: https://arxiv.org/pdf/2508.05635

A quién va dirigido Genie Envisioner

• Investigadores en robótica: Genie Envisioner proporciona potentes herramientas de investigación y una plataforma de código abierto que puede ayudar a los investigadores a explorar las fronteras de las operaciones robóticas e impulsar el desarrollo de la inteligencia robótica.
• Ingeniero de desarrollo robóticoLa versatilidad y las soluciones integrales permiten a los ingenieros desarrollar y optimizar de forma más eficaz aplicaciones robóticas para una amplia gama de hardware robótico y escenarios de tareas.
• Universidades e instituciones de investigación: Proporcionar referencias de evaluación normalizadas y una gran cantidad de recursos para la educación y la investigación, facilitar proyectos de enseñanza e investigación relacionados con la robótica y formar a profesionales.
• Empresas de automatización industrialLa posibilidad de utilizarlo en líneas de producción industrial para optimizar los procesos operativos del robot, mejorar la productividad y la calidad y reducir la intervención humana.
• Desarrolladores de robótica de serviciosLa tecnología de robots de servicio: es aplicable al campo de los robots de servicio para mejorar la adaptabilidad y la capacidad de ejecución de tareas de los robots en entornos complejos y ampliar los escenarios de aplicación de los robots de servicio.