Megrez-3B-Omni : un modèle de compréhension multimodale en bout de chaîne prenant en charge la compréhension et l'analyse multimodales de textes, d'images et de sons

Introduction générale

Infini-Megrez est une solution d'intelligence artificielle développée par Infinigence AI, qui vise à obtenir une compréhension et une analyse multimodales efficaces grâce à la co-conception matérielle et logicielle. Au cœur du projet se trouve le modèle Megrez-3B, qui permet une compréhension intégrée de l'image, du texte et de l'audio avec une grande précision et une inférence rapide. Le modèle Megrez-3B donne de bons résultats dans un certain nombre de repères courants et convient à des tâches telles que la compréhension de scènes et la reconnaissance optique de caractères (OCR). Le projet fournit un code de déploiement complet pour que les développeurs puissent facilement l'appliquer sur différentes plateformes.

Liste des fonctions

• compréhension graphiqueSigLip-400M : construit des marqueurs d'images à l'aide de SigLip-400M et obtient de bons résultats dans des tests de référence tels que MME, MMVet et OCRBench.
• compréhension de la langueLa compréhension des textes est excellente et les résultats des tests de référence tels que C-EVAL et MMLU sont satisfaisants.
• compréhension de la paroleLa voix : elle prend en charge la saisie vocale en chinois et en anglais, le dialogue à plusieurs voix et la réponse à la commande vocale.
• déduction rapideLes résultats de l'étude sont les suivants : accélération de l'inférence jusqu'à 300% grâce à la co-conception matérielle et logicielle.
• facile à utiliserLe système de gestion de l'information de l'entreprise : adopte l'architecture LLaMA classique, ce qui permet aux développeurs de le déployer facilement sur une variété de plates-formes.
• Applications richesLe projet : Fournir une solution WebSearch complète qui détermine automatiquement le moment des appels de recherche pour fournir de meilleurs résultats sommaires.

Utiliser l'aide

Processus d'installation

1. entrepôt de clonesCloner le dépôt Infini-Megrez en exécutant la commande suivante dans un terminal :

   git clone https://github.com/infinigence/Infini-Megrez.git

2. Installation des dépendancesLe projet doit être installé dans le répertoire du projet et les dépendances nécessaires doivent être installées :

   cd Infini-Megrez
pip install -r requirements.txt

3. Télécharger les modèlesTélécharger les fichiers de modèle requis conformément aux directives du fichier README et les placer dans le répertoire spécifié.

Lignes directrices pour l'utilisation

1. compréhension graphique: :
   • Place le fichier image dans le répertoire spécifié.
   • Exécutez le script de compréhension de l'image :

    python image_understanding.py --input_dir ./images
   

   • Visualiser le résultat avec les marqueurs d'image et les résultats de l'analyse.
2. compréhension de la langue: :
   • Place le fichier texte dans le répertoire spécifié.
   • Exécution de scripts de compréhension de la langue :

    python text_understanding.py --input_dir ./texts
   

   • Affichez le résultat, qui contient les résultats de l'analyse et de la compréhension du texte.
3. compréhension de la parole: :
   • Place le fichier audio dans le répertoire spécifié.
   • Exécutez le script de compréhension de la parole : bash
python speech_understanding.py --input_dir ./audios

   • Visualisez le résultat avec la synthèse vocale et les résultats de l'analyse.

Fonctions vedettes Procédure d'utilisation

1. compréhension multimodale: :
   • Placez les fichiers image, texte et audio dans les répertoires correspondants.
   • Exécuter le script de compréhension multimodale :

    python multimodal_understanding.py --image_dir ./images --text_dir ./texts --audio_dir ./audios
   

   • Visualiser les résultats d'une analyse complète, comprenant la compréhension et l'analyse conjointes des images, du texte et de la parole.
2. Solutions WebSearch: :
   • Configurez le module WebSearch et assurez-vous que la connexion réseau fonctionne.
   • Exécutez le script WebSearch : bash
python websearch.py --query "输入查询内容"

   • Le système détermine automatiquement si la fonction de recherche doit être invoquée et fournit des résultats sommaires optimisés.

En suivant les étapes ci-dessus, les utilisateurs peuvent comprendre et utiliser pleinement les fonctions d'Infini-Megrez pour obtenir une compréhension et une analyse multimodales efficaces.