Gemini Robotics On-Device - O Google lança o primeiro modelo de inteligência incorporada a ser executado localmente

O que é o Gemini Robotics On-Device?

Gêmeos O Robotics On-Device é um modelo de visão, linguagem e ação do Google DeepMind que oferece suporte à operação local de robôs. O modelo é capaz de executar tarefas off-line, concluindo ações refinadas com base em comandos de linguagem natural, como dobrar roupas e abrir sacolas. O modelo é compatível com uma ampla variedade de ontologias de robôs, tem baixa latência de resposta, adapta-se rapidamente a novas tarefas e aprende novas ações após apenas 50 a 100 amostras. O Google oferece o Gemini Robotics SDK para ajudar os desenvolvedores a avaliar e implantar, reduzir os custos e os riscos do desenvolvimento e oferecer novas oportunidades para a expansão dos aplicativos de robótica.

Principais recursos do Gemini Robotics On-Device

• Operação off-line localNão há necessidade de depender da nuvem, suporte para executar tarefas localmente no robô e trabalhar de forma estável quando a rede estiver fraca ou não houver rede.
• seguir instruções em linguagem naturalCompreende a linguagem humana natural, executa comandos complexos de várias etapas e opera de acordo com a intenção humana.
• Realização de tarefas de manipulação finaSuporte a uma ampla gama de robôs que podem executar tarefas delicadas, como abrir sacolas e dobrar roupas.
• Rápida adaptação a novas tarefasAjustes finos: Apenas um pequeno número de amostras (50 a 100) é necessário para o ajuste fino, a adaptação a novas tarefas e o aprendizado rápido de novas habilidades.
• Implementação entre plataformasSuporte à migração para diferentes plataformas de robôs, como robôs com dois braços e humanóides, com altos recursos de generalização.

Endereço do site oficial da Gemini Robotics On-Device

• Endereço do projeto:: https://deepmind.google/discover/blog/gemini-robotics-on-device-brings-ai-to-local-robotic-devices/

Como usar o Gemini Robotics no dispositivo

• Requisitos de hardware:As plataformas atualmente suportadas incluem, entre outras, o robô Franka FR3 de braço duplo e o robô humanoide Apollo da Apptronik.
• Obtenha o Gemini Robotics SDK:Faça o download do Gemini Robotics SDK no site oficial. O SDK fornece todas as ferramentas e a documentação necessárias para avaliar e implantar o modelo.
• Instalação e configuração do SDKInstalação de todas as dependências necessárias de acordo com a documentação do SDK.
• Ambiente de configuraçãoConfigure o ambiente de desenvolvimento conforme descrito na documentação.
• Implementação do modeloCarregue o modelo do Gemini Robotics On-Device usando as ferramentas fornecidas com o SDK. Verifique se o arquivo do modelo está completo e se o caminho está correto.
• Desenvolvimento e treinamento
  • Preparação de dadosPreparação dos dados a serem usados para o ajuste fino. Prepare de 50 a 100 amostras de demonstração, dependendo dos requisitos do modelo.
  • Ajuste fino do modeloAjuste fino do modelo usando as ferramentas de ajuste fino fornecidas pelo SDK.
  • Verificação do desempenhoTeste o desempenho do modelo ajustado em tarefas reais para garantir que ele possa executar a tarefa com precisão.
• Integração e implantação:Integre o modelo ajustado em seu sistema robótico. Implante o modelo no dispositivo robótico para garantir que ele possa ser executado localmente. Realize testes de tarefas reais para verificar a estabilidade e a capacidade de resposta do modelo.

Principais benefícios do Gemini Robotics On-Device

• Operação off-line localExecução: É executada totalmente localmente no robô, sem dependências de nuvem, garantindo a execução estável de tarefas em ambientes sem rede ou com rede fraca.
• Forte compreensão do idiomaSuporte para entender comandos de linguagem natural e executar tarefas complexas de várias etapas para aumentar a naturalidade da interação humano-computador.
• Capacidade de operar com precisãoSuporte a uma ampla gama de ontologias de robôs que podem executar tarefas delicadas, como abrir sacolas e dobrar roupas.
• Rápida adaptação a novas tarefasAjustes finos: Apenas 50 a 100 amostras são necessárias para o ajuste fino, adaptando-se rapidamente a novas tarefas e aumentando a agilidade do robô.
• Capacidade de implementação em várias plataformasSuporte à migração para diferentes plataformas de robôs, como robôs com dois braços e humanóides, com altos recursos de generalização.
• Resposta de baixa latênciaArquitetura otimizada para inferência de baixa latência, adequada para aplicativos sensíveis à latência e eficiência aprimorada.
• mecanismo de segurançaSolução holística baseada em segurança semântica e física para garantir a segurança dos robôs durante a execução de tarefas.
• Suporte ao desenvolvimentoSDK: fornece um SDK avançado para ajudar os desenvolvedores a avaliar e implementar modelos e reduzir os custos de desenvolvimento.

A quem se destina o Gemini Robotics On-Device?

• Fabricante de robôs: Aprimoramento da inteligência de robôs com base em modelos e desenvolvimento de produtos mais competitivos.
• Engenheiro de automação:Otimizar processos automatizados para melhorar a produtividade e a qualidade.
• Pesquisador (científico)Utilizado em pesquisas sobre a combinação de robótica e inteligência artificial para explorar novos avanços tecnológicos.
• profissional de saúdeAplicação de modelos no campo paramédico para oferecer melhor atendimento ao paciente.
• usuário domésticoAdquira um robô equipado com esse modelo e use-o em tarefas domésticas, etc., para aumentar a conveniência da vida.