Dexbotic - машина Силы Духа с открытым исходным кодом воплощенного интеллекта VLA модель универсальной платформы исследовательских услуг

Что такое "Дексботик"?

Dexbotic - это платформа с открытым исходным кодом для визуально-лингвистического воздействия (VLA), которая решает проблемы фрагментации и низкой эффективности исследований в области воплощенного интеллекта. Основанная на PyTorch, Dexbotic предоставляет универсальное решение для исследований и разработок в области воплощенного интеллекта. Основное преимущество Dexbotic заключается в единой модульной структуре, которая совместима с различными основными крупноязычными интерфейсами моделей, объединяет модули воплощенного манипулирования и навигации, а также сохраняет способность к расширению, обеспечивая архитектурную основу для более сложных сценариев задач в будущем. Dexbotic предоставляет высокопроизводительную базовую модель предварительного обучения, оптимизированную для многих основных алгоритмов, что значительно повышает производительность в симуляции и реальных задачах. Dexbotic поддерживает интегрированное облачное и локальное обучение, адаптируется к различным средам исследований и разработок и обеспечивает полный спектр поддержки обучения и развертывания роботов, охватывая весь процесс от проверки симуляции до посадки реального робота.

Особенности Dexbotic

• Унифицированная модульная система VLAВ основе Dexbotic лежит визуальная языковая модель действий, совместимая с основными интерфейсами больших языковых моделей, интегрированная с модулями манипулирования телом и навигации, с возможностью расширения, что закладывает архитектурную основу для будущей реализации сложных сценариев миссий, таких как управление всем телом.
• Высокопроизводительная предварительно обученная базовая модельМодель предварительного обучения предоставляет несколько предварительно обученных моделей, которые лучше работают в симуляторах и реальных задачах для основных алгоритмов, таких как Pi0, CogACT и т. д., что позволяет эффективно снизить затраты на обучение.
• Ориентированная на эксперименты система разработкиОна использует системную архитектуру "иерархическая конфигурация + регистрация фабрики + распределение записей", которая соответствует принципу открытия и закрытия программного обеспечения, и поддерживает пользователей для быстрого переключения задач, моделей и параметров, чтобы реализовать эффективную итерацию эксперимента.
• Обучение по облачной и локальной интеграцииОн полностью адаптирован к различным научно-исследовательским средам, поддерживает крупномасштабное распределенное обучение на облачных платформах, таких как AliCloud и Volcano Engine, а также эффективно работает на локальных машинах, оснащенных RTX 4090 и другими видеокартами потребительского класса.
• Обучение и развертывание робототехники All-linksКомпания предоставляет стандартизированные интерфейсы данных и общие сценарии развертывания для основных робототехнических платформ, таких как UR5, Franka, ALOHA и т. д., охватывая весь процесс от проверки моделирования до беспрепятственной посадки реальных роботов.
• Поддержка аппаратного обеспечения с открытым исходным кодомКомпания Dexmal Force Spirit Machine выпустила свой первый аппаратный продукт с открытым исходным кодом - Dexbotic Open Source - W1 (DOS-W1), призванный помочь исследованиям и разработкам в области воплощенного интеллекта.
• Улучшение производительностиПредварительно обученная модель Dexbotic обеспечивает значительный прирост производительности в нескольких основных симуляторах и реальных физических задачах. Например, версия Dexbotic (DB-*) значительно превосходит оригинальную модель во всех четырех задачах, протестированных SimplerEnv.

Основные преимущества Dexbotic

• Унифицированная модульная система VLAОн использует визуальную языковую модель действий в качестве ядра, совместим с основным интерфейсом большой языковой модели, интегрирует модуль управления телом и навигации и сохраняет возможность расширения, закладывая архитектурную основу для будущей реализации управления всем телом и других сложных сценариев миссий.
• Высокопроизводительная предварительно обученная базовая модельМодель предварительного обучения предоставляет несколько предварительно обученных моделей, которые лучше работают в симуляторах и реальных задачах для основных алгоритмов, таких как Pi0, CogACT и т. д., что позволяет эффективно снизить затраты на обучение.
• Ориентированная на эксперименты система разработкиОна использует системную архитектуру "иерархическая конфигурация + регистрация фабрики + распределение записей", которая соответствует принципу открытия и закрытия программного обеспечения, и поддерживает пользователей для быстрого переключения задач, моделей и параметров, чтобы реализовать эффективную итерацию эксперимента.
• Обучение по облачной и локальной интеграцииОн полностью адаптирован к различным научно-исследовательским средам, поддерживает крупномасштабное распределенное обучение на облачных платформах, таких как AliCloud и Volcano Engine, а также эффективно работает на локальных машинах, оснащенных RTX 4090 и другими видеокартами потребительского класса.
• Обучение и развертывание робототехники All-linksКомпания предоставляет стандартизированные интерфейсы данных и общие сценарии развертывания для основных робототехнических платформ, таких как UR5, Franka, ALOHA и т. д., охватывая весь процесс от проверки моделирования до беспрепятственной посадки реальных роботов.

Какой официальный сайт у Dexbotic?

• Веб-сайт проекта:: https://dexbotic.com/.
• Репозиторий GitHub:: https://github.com/Dexmal/dexbotic.
• Библиотека моделей обнимающихся лиц:: https://huggingface.co/collections/Dexmal/dexbotic-68f20493f6808a776bfc9fc4.
• Технический отчет:: https://dexbotic.com/Dexbotic_Tech_Report.pdf.

Для кого предназначен дексботик

• Исследователи в области воплощенного интеллектаDexbotic предоставляет стандартизированную модульную исследовательскую инфраструктуру, которая позволяет исследователям быстро проводить эксперименты, проверять новые алгоритмы и архитектуры моделей, а также ускорять прогресс в области воплощенного интеллекта.
• Разработчик робототехникиДля специалистов, занимающихся разработкой робототехники, Dexbotic обеспечивает полную поддержку от моделирования до внедрения реального робота и может быть использован для разработки и оптимизации функций зрения, речи и управления движением робота.
• Инженер по алгоритмам искусственного интеллекта: Предоставляет инженерам-алгоритмистам высокопроизводительные предварительно обученные модели и гибкую систему экспериментов для оптимизации и инноваций в алгоритмах и изучения новых сценариев применения.
• Студенты высших учебных заведений и научно-исследовательских институтовОткрытый исходный код Dexbotic и подробная документация делают его идеальным инструментом для студентов университетов и исследовательских институтов для изучения и исследования воплощенного интеллекта, а также для подготовки специалистов в смежных областях.
• Энтузиасты, интересующиеся воплощенным интеллектом: Для энтузиастов, интересующихся воплощенным интеллектом, но не имеющих профессиональной подготовки, Dexbotic предлагает доступную структуру и множество ресурсов, которые помогут им начать и углубиться в эту область.