VLAC - Le grand modèle open source de récompenses incorporées du Shanghai AI Lab

Qu'est-ce que VLAC ?

VLAC est un macromodèle de récompense incarnée open source du laboratoire d'intelligence artificielle de Shanghai. Il est basé sur le macromodèle multimodal InternVL. Basé sur le macromodèle multimodal InternVL, il intègre les données vidéo d'Internet et les données de fonctionnement du robot pour fournir une estimation de la récompense du processus et de l'achèvement de la tâche pour l'apprentissage par renforcement du robot dans le monde réel.VLAC peut distinguer efficacement l'avancement normal et les comportements anormaux/stagnants, et permet une généralisation rapide de petits échantillons grâce à l'apprentissage en contexte. VLAC prend en charge le lissage local et le mécanisme de récompense négative pour garantir la stabilité et l'efficacité de l'apprentissage par renforcement.VLAC peut émettre des signaux de récompense et des commandes d'action du robot, ce qui aide le robot à apprendre de manière autonome et à s'adapter à de nouveaux scénarios dans le monde réel.VLAC prend en charge les modes de collaboration homme-robot, ce qui améliore encore l'efficacité de l'apprentissage.

Caractéristiques fonctionnelles de la VLAC

• Fusion de données multimodales: Combinaison des données vidéo Internet et des données de manipulation des robots pour améliorer la compréhension intégrée des tâches et des environnements.
• Incitations au processus et estimations d'achèvementLes tâches sont récompensées et estimées afin de fournir des signaux supervisés stables et fiables pour l'apprentissage par renforcement.
• Reconnaissance des comportements anormauxIl peut différencier efficacement les progrès normaux et les comportements anormaux/stagnants, ce qui permet d'éviter les explorations inefficaces et d'améliorer l'efficacité de l'apprentissage.
• Généralisation rapide pour les petits échantillonsL'apprentissage en contexte permet de s'adapter rapidement à de nouvelles tâches avec un petit nombre d'échantillons et d'améliorer la capacité de généralisation du modèle.
• Sortie de la commande d'actionLes robots : Générer des commandes d'action pour les robots tout en fournissant des signaux de récompense pour un contrôle en boucle fermée de la perception à l'action.
• Renforcement du soutien au cadre d'apprentissage: Un cadre d'apprentissage par renforcement VLA construit autour de VLAC pour soutenir l'apprentissage collaboratif et l'adaptation rapide de plusieurs robots dans le monde réel.
• Optimisation de la collaboration homme-machineLa flexibilité de la formation et l'efficacité de l'apprentissage sont encore améliorées grâce à de multiples modes de collaboration entre l'homme et l'ordinateur, tels que la lecture de données par des experts et l'exploration assistée manuellement.

Les points forts de VLAC

• Génération efficace de signaux de récompenseIl peut fournir des signaux de récompense continus, denses et fiables pour soutenir efficacement le processus d'apprentissage par renforcement et accélérer l'efficacité de l'apprentissage des robots.
• Identification efficace des comportements anormauxIl peut distinguer avec précision un fonctionnement normal d'un comportement anormal ou bloqué, ce qui permet d'éviter les explorations inefficaces et d'améliorer l'efficacité de l'apprentissage et la réussite des tâches.
• Excellentes capacités de généralisationGénéralisation rapide de petits échantillons grâce à l'apprentissage en contexte, adaptation rapide à de nouvelles tâches et à de nouveaux scénarios, et exigences réduites en matière de données.
• Intégration des commandes d'action et des récompensesLes signaux de récompense : fournir des signaux de récompense qui peuvent produire des commandes d'action du robot, réaliser un contrôle en boucle fermée de la perception à l'action, et améliorer l'efficacité de l'exécution de la tâche.
• Intégration du cadre d'apprentissage par renforcementLe cadre d'apprentissage par renforcement VLA construit autour de VLAC soutient l'apprentissage collaboratif multi-robots et améliore l'adaptation des robots dans le monde réel.
• Optimisation de la collaboration homme-machineLe système d'information sur la formation : il prend en charge plusieurs modes de collaboration entre l'homme et l'ordinateur, tels que la lecture de données par des experts et l'exploration assistée manuellement, ce qui améliore encore la flexibilité et l'efficacité de la formation.
• Une approche de la formation fondée sur les donnéesFusion des données vidéo Internet et des données de fonctionnement du robot pour améliorer la stabilité et la fiabilité du modèle à l'aide de données à grande échelle.
• Source ouverte et soutien de la communautéEn tant que projet open source, il fournit une documentation riche et un soutien communautaire pour aider les développeurs et les chercheurs à démarrer rapidement et à participer à la contribution.

Quel est le site web officiel de VLAC ?

• Site web du projet: : https://vlac.intern-ai.org.cn
• Dépôt Github: : https://github.com/InternRobotics/VLAC
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/InternRobotics/VLAC

À qui s'adresse VLAC ?

• Ingénieur R&D en robotiqueLe projet : Utiliser VLAC pour améliorer l'efficacité de l'apprentissage des robots et les taux d'achèvement des tâches et accélérer le développement des robots pour les applications du monde réel.
• Chercheurs en intelligence artificielleRecherche sur les technologies de pointe telles que l'apprentissage par renforcement et la fusion multimodale, l'optimisation des algorithmes et l'amélioration des modèles à l'aide de VLAC.
• Universités et instituts de rechercheLe site Web de la Commission européenne : sert d'outil d'enseignement et de recherche pour aider les étudiants et les chercheurs à mieux comprendre les avancées récentes dans le domaine de l'intelligence incarnée et de l'apprentissage par renforcement.
• entreprise technologiqueLes entreprises qui développent des produits robotiques intelligents peuvent améliorer le niveau d'intelligence et la compétitivité de leurs produits sur le marché grâce à VLAC.
• Opérateurs et mainteneurs en robotiqueLe projet "VLAC" : Utilisation de VLAC dans la pratique pour optimiser l'exécution des tâches des robots et améliorer l'efficacité et la qualité.