MegaParse: analiza cada tipo de documento en datos disponibles en LLM, conservando toda la información del documento, como tablas e imágenes, en su totalidad.

Introducción general

MegaParse es una potente y versátil herramienta de análisis sintáctico de documentos diseñada para optimizar el procesamiento de datos para el Modelo de Lenguaje Extenso (LLM). Tanto si trabaja con texto, PDF, presentaciones de PowerPoint o documentos de Word, MegaParse se lo pone fácil y garantiza que no se pierda información en el proceso de análisis sintáctico. Desarrollada por QuivrHQ, la herramienta es de código abierto y de uso gratuito, y está diseñada para proporcionar servicios de análisis sintáctico de archivos rápidos y eficaces para una amplia gama de formatos de archivo, incluidos documentos de texto, PDF, PowerPoint, Excel, CSV y Word.

Lista de funciones

• analizador sintáctico multifuncionalAdmite varios tipos de archivos, como documentos de texto, PDF, PowerPoint, Excel, CSV y Word.
• No se pierde información: Garantiza que no se pierda información en el proceso de análisis sintáctico.
• rápido y eficazEl núcleo del diseño se centra en la velocidad y la eficacia.
• Código abierto y gratuito: Proyecto de código abierto, de uso gratuito.
• Soporte para múltiples contenidosSoporte para el análisis sintáctico de tablas, índices, encabezados, pies de página e imágenes.

Tres modos de análisis.

• UnstructuredParser
• Analizador visual (MegaParseVision) - compatible con modelos multimodales como GPT-4V y Claude 3
• LlamaParser - Capacidades de análisis sintáctico mejoradas a través de Llama Cloud

Rendimiento.
Según la prueba de referencia, el modo MegaParseVision tiene un ratio de similitud de 0,87, que es el mejor modo de análisis sintáctico en términos de rendimiento.

Principales escenarios de aplicación.

• Necesidad de importar varios documentos al sistema LLM para su procesamiento
• Escenarios que requieren mantener el formato del documento y la integridad del contenido
• Tareas de tratamiento de documentos por lotes

El proyecto está en desarrollo activo, con planes para añadir más funciones como.

• Mejoras en el inspector de tablas
• Añadir posprocesamiento modular
• Añadir soporte de salida estructurada

Utilizar la ayuda

Proceso de instalación

1. Instalación de MegaParse::

   pip install megaparse
   

2. Configuración de claves API: Coloque su OpenAI o Antrópico La clave API se añade a la .env Documentación.
3. Instalación de dependencias::
   • Para imágenes y archivos PDF, instale poppler responder cantando tesseract.
   • Si utiliza un Mac, también tendrá que instalar libmagic::

     brew install libmagic
     

Uso de MegaParse

1. Importar MegaParse::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.unstructured_parser import UnstructuredParser
   parser = UnstructuredParser()
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

2. Uso de MegaParse Vision::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.megaparse_vision import MegaParseVision
   model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))
   parser = MegaParseVision(model=model)
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Mejorar los resultados con LlamaParse

1. Crear una cuenta Llama Cloud y obtener una clave API.
2. Cambiar parser a LlamaParser::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.llama_parser import LlamaParser
   parser = LlamaParser(api_key=os.getenv("LLAMA_CLOUD_API_KEY"))
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Utilizado como API

1. Uso de MakeFile::
   Ejecútelo en el directorio raíz del proyecto:

   make dev
   

2. Acceso a los documentos::
   Abra su navegador para acceder a localhost:8000/docs Ver información de diferentes puntos finales.