OneCAT - Modèle multimodal open source pour Meituan et l'Université Jiaotong de Shanghai

Qu'est-ce que OneCAT ?

OneCAT est un nouveau modèle multimodal unifié lancé par Meituan en collaboration avec l'université Jiaotong de Shanghai, qui adopte une architecture de décodeur pure et peut intégrer de manière transparente des fonctions de compréhension multimodale, de génération de texte à partir d'images et d'édition d'images. Le modèle abandonne la conception des modèles multimodaux traditionnels qui s'appuient sur des codeurs visuels et des désambiguïsateurs externes, et réalise un traitement multimodal efficace grâce à une architecture de mélange d'experts (MoE) spécifique à la modalité et à un mécanisme autorégressif multi-échelle.Les principaux atouts de OneCAT résident dans son architecture concise et dans l'amélioration significative de l'efficacité de l'inférence, en particulier lorsqu'il s'agit d'entrées et de sorties d'images haute résolution. Il améliore en outre les capacités de génération visuelle et l'alignement multimodal grâce à des adaptateurs innovants tenant compte de l'échelle et à des mécanismes d'attention multimodaux multifonctionnels. OneCAT a démontré d'excellentes performances dans de nombreux tests de référence pour la compréhension multimodale, la génération de texte à partir d'images et l'édition d'images, établissant ainsi une nouvelle norme pour le développement d'une intelligence multimodale unifiée.

Caractéristiques de OneCAT

• Traitement multimodal efficaceL'architecture pure du décodeur, qui élimine le besoin de codeurs visuels externes ou de séparateurs de mots, simplifie considérablement la structure du modèle et réduit la charge de calcul, en particulier lors du traitement d'entrées à haute résolution.
• Des capacités génératives puissantesLe mécanisme multi-échelle autorégressif peut progressivement générer des images de haute qualité de manière grossière à fine, ce qui convient à la génération de texte à partir d'images et aux tâches d'édition d'images avec d'excellents résultats de génération.
• Édition d'images flexibleLa technologie de l'édition d'images par commande permet d'effectuer des ajustements locaux et globaux précis des images en fonction des commandes de l'utilisateur, ce qui offre de puissantes possibilités de génération conditionnelle sans modification supplémentaire de l'architecture.
• Capacité d'alignement intermodalLe projet a pour objectif d'améliorer l'alignement entre les différentes modalités et d'améliorer les performances du modèle dans les tâches multimodales grâce à des structures de mélange d'experts spécifiques à chaque modalité et à des couches de QKV et d'attention partagées.
• Prise en charge de la résolution dynamiqueLa prise en charge native de la résolution dynamique, capable de s'adapter à différentes tailles d'entrées, améliore la flexibilité et l'applicabilité du modèle.

Principaux avantages de OneCAT

• Architecture simple et efficaceL'utilisation d'une architecture de décodage pure, sans codage visuel externe ni désambiguïsation, simplifie considérablement la structure du modèle et réduit la charge de calcul, en particulier lorsqu'il s'agit d'entrées à haute résolution, avec une augmentation significative de l'efficacité de l'inférence.
• Forte capacité de fusion multimodaleLa structure de mélange d'experts (MoE) spécifique à chaque modalité permet de traiter de manière transparente du texte, des images et d'autres données multimodales afin d'obtenir des fonctions efficaces de compréhension, de génération et d'édition multimodales, ce qui améliore la profondeur et l'efficacité de la fusion d'informations multimodales.
• Excellente performance de générationL'introduction innovante d'un mécanisme autorégressif visuel multi-échelle pour générer des images de manière incrémentale et grossière réduit considérablement le nombre d'étapes de décodage tout en maintenant des sorties visuelles de haute qualité, et démontre une performance robuste dans la génération de texte à image et dans les tâches d'édition d'images.
• Forte adhésion au commandementIl comprend et exécute avec précision les commandes de l'utilisateur et génère un contenu d'image conforme qui améliore l'expérience de l'utilisateur.
• Prise en charge de la résolution dynamiqueLa prise en charge native de la résolution dynamique et la capacité à s'adapter à des entrées de tailles différentes améliorent la flexibilité et l'applicabilité du modèle à un large éventail de scénarios d'application.

Quel est le site web officiel de OneCAT ?

• Site web du projet: : https://onecat-ai.github.io/
• Dépôt Github: : https://github.com/onecat-ai/onecat
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/onecat-ai/OneCAT-3B
• Document technique arXiv: : https://arxiv.org/pdf/2509.03498

À qui s'adresse OneCAT

• Chercheurs en intelligence artificielleOneCAT, en tant que nouveau modèle multimodal, offre aux chercheurs de nouvelles directions de recherche et des plateformes expérimentales qui peuvent être utilisées pour explorer les technologies de pointe pour la compréhension, la génération et l'édition multimodales.
• Scientifiques et ingénieurs en donnéesDans les projets qui doivent traiter des données multimodales, OneCAT peut les aider à mettre rapidement en œuvre des fonctions telles que la génération de texte à partir d'images, l'édition d'images, etc. et à améliorer l'efficacité du développement.
• Concepteurs et artistes créatifsOneCAT : OneCAT génère des images de haute qualité à partir de descriptions textuelles, en fournissant de l'inspiration et du matériel pour la conception créative et le travail artistique, en les aidant à réaliser rapidement des idées créatives.
• éducateurDans le domaine de l'éducation, OneCAT peut générer des images liées au contenu de l'enseignement, aider les étudiants à mieux comprendre et mémoriser les connaissances, et enrichir les ressources pédagogiques.
• Créateurs de contenu et professionnels des médiasOneCAT peut être utilisé pour générer et éditer du contenu image afin de faciliter la création de publicités, de vidéos, de contenu pour les médias sociaux et plus encore, améliorant ainsi l'efficacité et la qualité de la création de contenu.