Gemini Robotics On-Device - Google запускает первую модель встроенного интеллекта, работающую локально

Что такое Gemini Robotics On-Device?

Близнецы Robotics On-Device - это модель видения-языка-действия от Google DeepMind, которая поддерживает локальное управление роботами. Модель способна выполнять задачи в автономном режиме, выполняя тонкие действия на основе команд естественного языка, например складывание одежды и открывание сумок. Модель поддерживает широкий спектр онтологий роботов, имеет низкую задержку реакции, быстро адаптируется к новым задачам и обучается новым действиям всего после 50-100 проб. Google предлагает Gemini Robotics SDK, который поможет разработчикам оценить и внедрить роботов, снизить стоимость разработки и риски, а также открыть новые возможности для расширения робототехнических приложений.

Ключевые особенности устройства Gemini Robotics On-Device

• Локальная автономная работа: Нет необходимости полагаться на облако, поддержка выполнения задач локально в роботе, стабильная работа при слабой сети или ее отсутствии.
• следовать инструкциям на естественном языке: Понимает естественный человеческий язык, выполняет сложные многоступенчатые команды и действует в соответствии с намерениями человека.
• Выполнение заданий на тонкие манипуляции: Поддерживает широкий спектр роботов, способных выполнять такие деликатные задачи, как открывание пакетов и складывание одежды.
• Быстрая адаптация к новым задачам: Для тонкой настройки, адаптации к новым задачам и быстрого освоения новых навыков требуется лишь небольшое количество проб (50-100).
• Кросс-платформенное развертывание: Поддерживает переход на различные робототехнические платформы, такие как двурукие и гуманоидные роботы, с высокими возможностями обобщения.

Адрес официального сайта Gemini Robotics On-Device

• Адрес проекта:: https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/

Как использовать Gemini Robotics на устройстве

• Требования к аппаратному обеспечению:В настоящее время поддерживаются, в частности, двурукий робот Franka FR3 и робот-гуманоид Apollo компании Apptronik.
• Получите Gemini Robotics SDK:Загрузите Gemini Robotics SDK с официального сайта. SDK содержит все инструменты и документацию, необходимые для оценки и развертывания модели.
• Установка и настройка SDK: Установите все необходимые зависимости в соответствии с документацией SDK.
• Конфигурационная среда: Настройте среду разработки, как описано в документации.
• Развертывание моделиЗагрузите модель Gemini Robotics On-Device с помощью инструментов, поставляемых с SDK. Убедитесь, что файл модели завершен и путь к нему правильный.
• Развитие и обучение
  • Подготовка данных: Подготовьте данные, которые будут использоваться для тонкой настройки. Подготовьте от 50 до 100 демонстрационных образцов, в зависимости от требований модели.
  • Тонкая настройка модели: Тонкая настройка модели с помощью инструментов тонкой настройки, предоставляемых SDK.
  • Проверка работоспособности: Протестируйте работу точно настроенной модели на реальных задачах, чтобы убедиться, что она может точно выполнить задание.
• Интеграция и развертывание:Интегрируйте точно настроенную модель в роботизированную систему. Разверните модель на роботизированном устройстве, чтобы убедиться, что она может работать локально. Проведите тестирование реальных задач, чтобы убедиться в стабильности и отзывчивости модели.

Основные преимущества Gemini Robotics On-Device

• Локальная автономная работа: Работает полностью локально на роботе, без зависимости от облака, обеспечивая стабильное выполнение задач в условиях отсутствия сети или слабой сети.
• Сильное понимание языка: Поддержка понимания команд на естественном языке и выполнения сложных многоэтапных задач для повышения естественности взаимодействия человека и компьютера.
• Способность работать с высокой точностью: Поддерживает широкий спектр онтологий роботов, которые могут выполнять такие деликатные задачи, как открывание пакетов и складывание одежды.
• Быстрая адаптация к новым задачам: Для тонкой настройки, быстрой адаптации к новым задачам и повышения маневренности роботов требуется всего 50-100 образцов.
• Возможность кросс-платформенного развертывания: Поддерживает переход на различные робототехнические платформы, такие как двурукие и гуманоидные роботы, с высокими возможностями обобщения.
• Низкая задержка отклика: Оптимизированная архитектура для выводов с низкой задержкой, подходящая для чувствительных к задержке приложений и повышенной эффективности.
• механизм безопасности: Целостное решение на основе семантической и физической безопасности для обеспечения безопасности роботов при выполнении задач.
• Поддержка развития: Предоставляет мощный SDK, помогающий разработчикам оценивать и развертывать модели и сокращать расходы на разработку.

Для кого предназначен Gemini Robotics On-Device?

• производитель роботов: Повышение интеллекта роботов на основе моделей и разработка более конкурентоспособной продукции.
• Инженер по автоматизации:Оптимизация автоматизированных процессов для повышения производительности и качества.
• (научный) исследователь: Используется в исследованиях по сочетанию робототехники и искусственного интеллекта для изучения новых технологических прорывов.
• практикующий врач: Применение моделей в парамедицинской сфере для обеспечения лучшего ухода за пациентами.
• домашний пользователь: Приобретите робота, оснащенного этой моделью, и используйте его для выполнения домашних дел и т.д., чтобы повысить удобство жизни.