Genie Envisioner - Plate-forme robotique polyvalente à code source ouvert de Jiyuan, en collaboration avec Beihang et d'autres organismes

Qu'est-ce que Genie Envisioner ?

Genie Envisioner (GE) est une plateforme unifiée pour le fonctionnement des robots, développée par l'équipe de Genie Robotics en collaboration avec l'Université nationale de Singapour et l'Université d'aéronautique et d'astronautique de Pékin. Le cœur de GE se compose de trois parties : GE-Base, GE-Act et GE-Sim. Le cœur de GE se compose de trois parties : GE-Base, GE-Act et GE-Sim. GE-Base est un modèle de diffusion vidéo piloté par commande qui capture la dynamique des interactions des robots dans le monde réel. -GE-Act est basé sur GE-Base et transforme les représentations potentielles en trajectoires d'action exécutables, prenant en charge des robots de morphologies différentes. GE-Sim est un simulateur neuronal conditionné par l'action qui génère des vidéos de simulation de haute fidélité pour la formation et l'évaluation.

Caractéristiques du Genie Envisioner

• plate-forme opérationnelle unifiéeGenie Envisioner est une plate-forme d'exploitation générique orientée vers les robots qui s'adapte à un large éventail de morphologies de robots et permet un traitement de bout en bout, de la détection à l'exécution.
• Répétition mentale et planification de l'actionLe modèle "Imaginer d'abord, agir ensuite", dans lequel le robot génère le plan d'action optimal par répétition mentale et l'exécute ensuite dans le monde réel, améliore la précision et l'efficacité de l'exécution des tâches.
• fusion multimodaleLe modèle GE-Base est basé sur une technique de diffusion vidéo commandée qui capture la dynamique spatio-temporelle et sémantique des interactions robotiques, permettant la fusion multimodale de la vision, de la parole et de l'action.
• Simulation et formation haute-fidélitéGE-Sim : en tant que simulateur neuronal des conditions d'action, GE-Sim génère des vidéos de simulation de haute fidélité, prend en charge la formation et l'évaluation à grande échelle et aide les robots à mieux s'adapter à des environnements complexes.
• Critères d'évaluation standardisésEWMBench : fournit la suite de référence EWMBench pour mesurer la fidélité visuelle, la cohérence physique et l'alignement commande-mouvement afin de faciliter l'évaluation normalisée des performances des robots.
• Source ouverte et évolutivitéLes codes, les modèles et les critères de référence seront rendus publics afin de faciliter l'exploration et l'application par les chercheurs et les développeurs en vue de faire progresser la robotique.

Principaux avantages de Genie Envisioner

• Très polyvalentIl peut être adapté à un large éventail de formes de robots et prendre en charge différents types de tâches robotiques avec une large applicabilité.
• capacité de bout en boutIl réalise le traitement intégré de l'ensemble du processus, depuis la détection de l'environnement, la compréhension des instructions jusqu'à l'exécution de l'action, et améliore l'autonomie et l'intelligence du robot.
• Mécanisme de répétition mentaleOptimisation de la ligne de conduite et réduction des erreurs et des risques dans les opérations réelles grâce à des aperçus dans un environnement simulé.
• simulation haute fidélitéGE-Sim : GE-Sim génère des vidéos de simulation très réalistes qui soutiennent efficacement la formation des robots et l'optimisation des stratégies.
• Évaluation standardiséeLe programme EWMBench : il fournit la suite d'analyse comparative EWMBench, qui facilite l'évaluation normalisée des performances des robots et favorise la normalisation de la technologie.

Quel est le site web officiel de Genie Envisioner ?

• Site web du projet: : https://genie-envisioner.github.io/
• Dépôt GitHub: : https://github.com/AgibotTech/Genie-Envisioner
• Document technique arXiv: : https://arxiv.org/pdf/2508.05635

A qui s'adresse Genie Envisioner ?

• Chercheurs en robotiqueGenie Envisioner fournit de puissants outils de recherche et une plateforme open-source qui peut aider les chercheurs à explorer les frontières des opérations robotiques et à favoriser le développement de l'intelligence robotique.
• Ingénieur en développement robotiqueLa polyvalence et les solutions de bout en bout permettent aux ingénieurs de développer et d'optimiser plus efficacement les applications robotiques pour un large éventail de matériel robotique et de scénarios de tâches.
• Universités et institutions de rechercheLe programme de l'Union européenne pour la robotique (UE) : fournir des critères d'évaluation standardisés et de nombreuses ressources pour l'enseignement et la recherche, faciliter les projets d'enseignement et de recherche liés à la robotique, et former les professionnels.
• Entreprises d'automatisation industrielleLa capacité d'être utilisé dans des lignes de production industrielle pour optimiser les processus de fonctionnement du robot, améliorer la productivité et la qualité, et réduire l'intervention humaine.
• Développeurs de robots de serviceIl est applicable au domaine des robots de service afin d'améliorer l'adaptabilité du robot et sa capacité d'exécution des tâches dans des environnements complexes et d'élargir les scénarios d'application des robots de service.