Genie Envisioner - plataforma de robótica de uso geral de código aberto da Jiyuan com a Beihang e outros

O que é o Genie Envisioner?

O Genie Envisioner (GE) é uma plataforma unificada para a operação de robôs desenvolvida pela equipe da Genie Robotics em colaboração com a Universidade Nacional de Cingapura e a Universidade de Aeronáutica e Astronáutica de Pequim. O núcleo do GE consiste em três partes: GE-Base, GE-Act e GE-Sim. O GE-Base é um modelo de difusão de vídeo orientado por comandos que captura a dinâmica das interações dos robôs no mundo real. -O GE-Act baseia-se no GE-Base e transforma as representações potenciais em trajetórias de ação executáveis, oferecendo suporte a robôs com diferentes morfologias. O GE-Sim é um simulador neural condicionado por ação que gera vídeos de simulação de alta fidelidade para treinamento e avaliação.

Recursos do Genie Envisioner

• plataforma operacional unificadaGenie Envisioner: O Genie Envisioner é uma plataforma operacional genérica orientada a robôs que se adapta a uma ampla gama de morfologias de robôs e permite o processamento de ponta a ponta, desde a detecção até a execução.
• Ensaio mental e planejamento de açõesO modelo "Imagine First, Act Later" (Imagine primeiro, aja depois), no qual o robô gera o curso de ação ideal por meio de ensaio mental e depois o executa no mundo real, melhora a precisão e a eficiência da execução da tarefa.
• fusão multimodalO modelo GE-Base baseia-se em uma técnica de difusão de vídeo acionada por comando que captura a dinâmica espaço-temporal e semântica das interações robóticas, permitindo a fusão multimodal de visão, fala e ação.
• Simulação e treinamento de alta fidelidadeGE-Sim: O GE-Sim funciona como um simulador neural de condições de ação, gerando vídeos de simulação de alta fidelidade, oferecendo suporte a treinamento e avaliação em larga escala e ajudando os robôs a se adaptarem melhor a ambientes complexos.
• Referências de avaliação padronizadasEWMBench: fornece o conjunto de benchmark EWMBench para medir a fidelidade visual, a consistência física e o alinhamento entre comando e movimento para facilitar a avaliação padronizada do desempenho do robô.
• Código aberto e escalabilidadeTodos os códigos, modelos e padrões de referência serão divulgados publicamente para facilitar a exploração e a aplicação por pesquisadores e desenvolvedores para o avanço da robótica.

Principais benefícios do Genie Envisioner

• Altamente versátilEle pode ser adaptado a uma ampla variedade de formas de robôs e suportar diferentes tipos de tarefas robóticas com ampla aplicabilidade.
• capacidade de ponta a pontaEle realiza o processamento integrado de todo o processo, desde a detecção do ambiente, a compreensão das instruções até a execução da ação, e aprimora a autonomia e a inteligência do robô.
• Mecanismo de ensaio mentalOtimização do curso de ação e redução de erros e riscos em operações reais por meio de visualizações em um ambiente simulado.
• simulação de alta fidelidadeGE-Sim: O GE-Sim gera vídeos de simulação altamente realistas que apoiam efetivamente o treinamento de robôs e a otimização de estratégias.
• Avaliação padronizadaEWMBench: fornece o conjunto de benchmarking EWMBench, que facilita a avaliação padronizada do desempenho do robô e promove a padronização da tecnologia.

Qual é o site oficial do Genie Envisioner?

• Site do projeto:: https://genie-envisioner.github.io/
• Repositório do GitHub:: https://github.com/AgibotTech/Genie-Envisioner
• Artigo técnico do arXiv:: https://arxiv.org/pdf/2508.05635

Para quem é o Genie Envisioner

• Pesquisadores de robóticaGenie Envisioner: O Genie Envisioner fornece ferramentas de pesquisa avançadas e uma plataforma de código aberto que pode ajudar os pesquisadores a explorar as fronteiras das operações de robótica e impulsionar o desenvolvimento da inteligência robótica.
• Engenheiro de desenvolvimento de robóticaVersatilidade e soluções completas permitem que os engenheiros desenvolvam e otimizem de forma mais eficiente os aplicativos robóticos para uma ampla gama de hardware robótico e cenários de tarefas.
• Universidades e instituições de pesquisaPara fornecer referências de avaliação padronizadas e uma grande quantidade de recursos para educação e pesquisa, para facilitar projetos de ensino e pesquisa relacionados à robótica e para treinar profissionais.
• Empresas de automação industrialA capacidade de ser usado em linhas de produção industrial para otimizar os processos operacionais do robô, melhorar a produtividade e a qualidade e reduzir a intervenção humana.
• Desenvolvedores de robótica de serviçoÉ aplicável ao campo dos robôs de serviço para melhorar a adaptabilidade e a capacidade de execução de tarefas dos robôs em ambientes complexos e expandir os cenários de aplicação dos robôs de serviço.