MegaParse : analyse chaque type de document en données disponibles en LLM, en préservant toutes les informations du document, telles que les tableaux et les images, dans leur intégralité.

Introduction générale

MegaParse est un outil d'analyse syntaxique de documents puissant et polyvalent, conçu pour optimiser le traitement des données dans le cadre du modèle du grand langage (LLM). Que vous travailliez avec du texte, des PDF, des présentations PowerPoint ou des documents Word, MegaParse vous facilite la tâche et veille à ce qu'aucune information ne soit perdue au cours du processus d'analyse. Développé par QuivrHQ, l'outil est open source et gratuit. Il est conçu pour fournir des services d'analyse de fichiers rapides et efficaces pour une large gamme de formats de fichiers, y compris les documents texte, PDF, PowerPoint, Excel, CSV et Word.

Liste des fonctions

• analyseur syntaxique multifonctionnelPrise en charge de plusieurs types de fichiers, notamment les documents texte, PDF, PowerPoint, Excel, CSV et Word.
• Aucune perte d'informationLes informations sont analysées en fonction de la nature de l'information et de l'importance de l'information.
• rapide et efficaceLe design est axé sur la rapidité et l'efficacité.
• Open source et gratuit: Projet open source, libre d'utilisation.
• Prise en charge de contenus multiplesSupport pour l'analyse des tableaux, des tables des matières, des en-têtes, des pieds de page et des images.

Trois modes d'analyse.

• UnstructuredParser (analyseur non structuré)
• Analyseur visuel (MegaParseVision) - prise en charge des modèles multimodaux tels que GPT-4V et Claude 3
• LlamaParser - Capacités d'analyse améliorées via Llama Cloud

Performance.
Selon le test de référence, le mode MegaParseVision présente un taux de similitude de 0,87, ce qui en fait le meilleur mode d'analyse syntaxique en termes de performances.

Principaux scénarios d'application.

• Nécessité d'importer divers documents dans le système LLM pour traitement
• Scénarios nécessitant le maintien de la mise en forme des documents et de l'intégrité du contenu
• Tâches de traitement des documents par lots

Le projet est en cours de développement et il est prévu d'y ajouter d'autres fonctionnalités, telles que

• Amélioration de l'inspecteur de tableaux
• Ajouter un post-traitement modulaire
• Ajout d'un support de sortie structuré

Utiliser l'aide

Processus d'installation

1. Installation de MegaParse: :

   pip install megaparse
   

2. Configuration des clés API: Placez votre OpenAI ou votre Anthropique La clé API est ajoutée au fichier .env Documentation.
3. Installation des dépendances: :
   • Pour les images et les fichiers PDF, installez poppler répondre en chantant tesseract.
   • Si vous utilisez un Mac, vous devrez également installer libmagic: :

     brew install libmagic
     

Utilisation de MegaParse

1. Importer MegaParse: :

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.unstructured_parser import UnstructuredParser
   parser = UnstructuredParser()
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

2. Utilisation de MegaParse Vision: :

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.megaparse_vision import MegaParseVision
   model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))
   parser = MegaParseVision(model=model)
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Améliorer les résultats avec LlamaParse

1. Créer un compte Llama Cloud et obtenir une clé API.
2. Changer l'analyseur pour LlamaParser: :

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.llama_parser import LlamaParser
   parser = LlamaParser(api_key=os.getenv("LLAMA_CLOUD_API_KEY"))
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Utilisé comme API

1. Utilisation de MakeFile: :
   Exécutez-le dans le répertoire racine du projet :

   make dev
   

2. Accès aux documents: :
   Ouvrez votre navigateur pour accéder à localhost:8000/docs Afficher différentes informations sur les points d'extrémité.