Genie Envisioner - робототехническая платформа общего назначения с открытым исходным кодом, разработанная компанией Jiyuan совместно с Beihang и другими компаниями.

Что такое Genie Envisioner?

Genie Envisioner (GE) - это единая платформа для управления роботами, разработанная командой Genie Robotics в сотрудничестве с Национальным университетом Сингапура и Пекинским университетом аэронавтики и астронавтики. GE состоит из трех частей: GE-Base, GE-Act и GE-Sim. GE-Base - это управляемая командами модель распространения видео, которая отражает динамику взаимодействия роботов в реальном мире. -GE-Act основана на GE-Base и преобразует потенциальные представления в исполняемые траектории действий, поддерживая роботов с различной морфологией. GE-Sim - это нейронный симулятор, основанный на действиях, который генерирует видеоролики с высокой точностью моделирования для обучения и оценки.

Особенности Genie Envisioner

• унифицированная операционная платформаGenie Envisioner - это универсальная роботоориентированная операционная платформа, которая адаптируется к широкому спектру морфологий роботов и обеспечивает сквозную обработку данных, начиная с обнаружения и заканчивая выполнением.
• Мысленная репетиция и планирование действийМодель "Сначала представь, потом действуй", при которой робот генерирует оптимальный вариант действий путем мысленной репетиции, а затем выполняет его в реальном мире, повышает точность и эффективность выполнения задач.
• мультимодальное слияние: Модель GE-Base основана на технике диффузии видео, управляемой командами, которая захватывает пространственно-временную и семантическую динамику роботизированных взаимодействий, позволяя мультимодально объединить зрение, речь и действия.
• Моделирование и обучение с высокой точностьюGE-Sim, как нейронный симулятор условий действия, создает видеоролики с высокой точностью моделирования, поддерживает крупномасштабное обучение и оценку, а также помогает роботам лучше адаптироваться к сложной окружающей среде.
• Стандартизированные контрольные показатели оценки: Предоставляет набор эталонов EWMBench для измерения визуальной достоверности, физической согласованности и согласованности команд и движений для облегчения стандартизированной оценки производительности роботов.
• Открытый исходный код и масштабируемостьВсе коды, модели и эталоны будут опубликованы в открытом доступе, чтобы облегчить дальнейшее изучение и применение исследователями и разработчиками для развития робототехники.

Основные преимущества Genie Envisioner

• Высокая универсальность: Он может быть адаптирован к широкому спектру форм роботов и поддерживать различные типы робототехнических задач с широкой областью применения.
• сквозные возможности: Он реализует интегрированную обработку всего процесса, начиная с обнаружения окружающей среды, понимания инструкций и заканчивая выполнением действий, и повышает автономность и интеллект робота.
• Механизм ментальной репетиции: Оптимизация действий и снижение ошибок и рисков в реальных операциях с помощью предварительного просмотра в симулированной среде.
• высокоточное моделированиеGE-Sim генерирует высокореалистичные видеоролики симуляции, которые эффективно поддерживают обучение роботов и оптимизацию стратегий.
• Стандартизированная оценка: Предоставляет пакет бенчмаркинга EWMBench, который облегчает стандартизированную оценку производительности роботов и способствует стандартизации технологии.

Каков официальный сайт Genie Envisioner?

• Веб-сайт проекта:: https://genie-envisioner.github.io/
• Репозиторий GitHub:: https://github.com/AgibotTech/Genie-Envisioner
• Технический документ arXiv:: https://arxiv.org/pdf/2508.05635

Для кого предназначен Genie Envisioner

• Исследователи в области робототехникиGenie Envisioner предоставляет мощные инструменты для исследований и платформу с открытым исходным кодом, которые помогут исследователям изучить границы робототехнических операций и стимулировать дальнейшее развитие роботизированного интеллекта.
• Инженер по разработке робототехникиУниверсальность и комплексные решения позволяют инженерам более эффективно разрабатывать и оптимизировать робототехнические приложения для широкого спектра робототехнического оборудования и сценариев задач.
• Университеты и исследовательские институты: Предоставление стандартизированных эталонов оценки и богатых ресурсов для образования и исследований, содействие учебным и исследовательским проектам, связанным с робототехникой, и подготовка специалистов.
• Компании, занимающиеся промышленной автоматизациейВозможность использования в промышленных производственных линиях для оптимизации рабочих процессов робота, повышения производительности и качества, а также сокращения вмешательства человека.
• Разработчики сервисной робототехники: Применяется в области сервисных роботов для повышения адаптивности робота и способности выполнять задачи в сложных условиях и расширения сценариев применения сервисных роботов.