MiniCPM-V 4.5 - Modèle multimodal intelligent à facettes à source ouverte de 8B paramètres

Qu'est-ce que MiniCPM-V 4.5

MiniCPM-V 4.5 est un modèle multimodal paramétrique 8B open source de Facade Intelligence, construit sur Qwen3-8B et SigLIP2-400M, avec la capacité de traiter efficacement les images et les vidéos. Dans la vision Jeton MiniCPM-V 4.5 prend en charge l'interaction multilingue et peut traiter 6 fois le nombre d'images vidéo, atteignant 96 fois le taux de compression visuelle, soit 24 fois plus que les modèles similaires. Le MiniCPM-V 4.5 prend en charge les interactions multilingues et peut gérer plus de 30 langues, ce qui convient aux scénarios de service clientèle et de traduction multilingues. La capacité de traitement des documents est également très bonne, il peut traiter des tableaux et des tickets complexes, et prend en charge l'OCR de l'écriture manuscrite et l'analyse syntaxique des documents multilingues. Le modèle prend en charge le raisonnement hybride contrôlé avec la pensée longue et la pensée courte, et la vitesse et la profondeur du raisonnement peuvent être ajustées de manière flexible en fonction des besoins réels.

Caractéristiques de MiniCPM-V 4.5

• Traitement visuel efficaceLa consommation de jetons visuels est réduite de 75% par rapport à la plupart des modèles : seuls 640 jetons visuels sont nécessaires pour traiter des images de 1,8 mégapixel, ce qui permet de recevoir 6 fois plus d'images vidéo et d'obtenir un taux de compression visuelle 96 fois plus élevé avec la même surcharge de jetons visuels, qui est 12 à 24 fois plus élevée que celle des modèles similaires.
• interaction multilingueLa capacité multilingue prend en charge plus de 30 langues, ce qui peut être appliqué au service clientèle multilingue, à la traduction multilingue et à d'autres scénarios.
• Solides compétences en matière de traitement des documentsBasé sur l'architecture LLaVA-UHD, il peut traiter des images haute résolution allant jusqu'à 1,8 mégapixels dans n'importe quel rapport d'aspect, et donne d'excellents résultats en matière d'OCR de l'écriture manuscrite et d'analyse de formulaires/documents complexes.
• inférence contrôléeIl permet un raisonnement mixte contrôlé avec une pensée longue et une pensée courte, et peut ajuster de manière flexible la vitesse et la profondeur du raisonnement en fonction des besoins réels.
• Flexibilité du déploiementIl fournit différents formats de modèles de quantification tels que int4, GGUF, AWQ, etc., qui peuvent être sélectionnés en fonction de la mémoire de l'appareil, et prend en charge différentes méthodes de déploiement telles que llama.cpp, ollama, vLLM et SGLang.

Principaux avantages de MiniCPM-V 4.5

• Compréhension exceptionnelle de la vidéo à haute résolutionIl s'agit du premier modèle multimodal de l'industrie doté d'une capacité de compréhension vidéo "à brosse élevée", qui peut recevoir six fois plus d'images vidéo et atteindre un taux de compression visuelle 96 fois plus élevé avec le même surcoût de jeton visuel, soit 12 à 24 fois plus élevé que les modèles similaires, et qui atteint la même taille SOTA et dépasse la même taille SOTA dans les deux listes de capacité de compréhension vidéo à brosse élevée, à savoir MotionBench et FavorBench. Dans MotionBench et FavorBench, qui sont deux listes de capacités de compréhension de vidéos en brosse, il atteint la même taille SOTA et dépasse la même taille SOTA dans les deux listes de capacités de compréhension de vidéos en brosse, à savoir MotionBench et FavorBench. Qwen2.5-VL 72B.
• Excellentes performances en matière de compréhension des imagesIl obtient de bons résultats dans des tests de référence tels que OpenCompass, surpassant des modèles tels que GPT-4o-latest, gère efficacement les images haute résolution, prend en charge les images jusqu'à 1,8 mégapixel dans n'importe quel rapport d'aspect, excelle dans l'OCR de l'écriture manuscrite, l'analyse de formulaires/documents complexes et prend en charge plus de 30 langues.
• Support multilingue étenduLa capacité multilingue prend en charge plus de 30 langues, ce qui peut être appliqué au service client multilingue, à la traduction multilingue et à d'autres scénarios pour répondre aux besoins d'interaction dans différents environnements linguistiques.
• Flexibilité du raisonnement contrôléIl soutient le raisonnement mixte contrôlé par la pensée longue et la pensée courte, en fonction des besoins réels d'ajustement flexible de la vitesse et de la profondeur du raisonnement, en tenant compte de l'efficacité et de la précision.
• Diverses modalités de déploiementIl fournit différents formats de modèles de quantification tels que int4, GGUF, AWQ, etc., qui peuvent être sélectionnés en fonction de la mémoire de l'appareil, et prend en charge différentes méthodes de déploiement telles que llama.cpp, ollama, vLLM et SGLang, ce qui est pratique pour l'utilisation dans différents appareils et scénarios.

Quel est le site officiel de MiniCPM-V 4.5 ?

• Dépôt GitHub: : https://github.com/OpenBMB/MiniCPM-V
• Bibliothèque de modèles HuggingFace: : https://huggingface.co/openbmb/MiniCPM-V-4_5
• Démonstration de l'expérience en ligne:: http://101.126.42.235:30910/

Qui peut utiliser MiniCPM-V 4.5 ?

• développeursLe modèle est open source et fournit une variété de méthodes de déploiement, les développeurs peuvent se baser sur son développement secondaire, la construction rapide d'applications multimodales, telles que le service client intelligent, les outils de traitement de documents.
• chercheurEn tant que modèle à source ouverte, il peut être étudié, analysé et amélioré par les chercheurs, afin de promouvoir le développement de la technologie multimodale et d'explorer de nouveaux scénarios d'application et l'optimisation des algorithmes.
• utilisateur professionnelLes entreprises peuvent exploiter des capacités de traitement d'images et de vidéos efficaces pour des scénarios professionnels tels que l'analyse de vidéos de surveillance, la démonstration de produits et le service à la clientèle, afin d'améliorer l'efficacité du travail et l'expérience de l'utilisateur.
• Utilisateurs d'appareils mobilesLe modèle permet un déploiement rapide sur des appareils mobiles tels que l'iPhone16Pro Max et convient aux utilisateurs qui ont besoin d'applications mobiles telles que la reconnaissance d'images en temps réel et le traitement de documents sur des appareils mobiles.
• utilisateur multilinguePrenant en charge plus de 30 langues, il convient aux utilisateurs dans des environnements multilingues, tels que les entreprises multinationales, les organisations internationales, etc., et peut répondre aux besoins d'interaction des utilisateurs dans différentes langues.