MegaParse: разбирает каждый тип документа на LLM-доступные данные, сохраняя всю информацию в документе, такую как таблицы и рисунки, в полном объеме.

Общее введение

MegaParse - это мощный и универсальный инструмент для разбора документов, разработанный для оптимизации обработки данных в рамках Большой языковой модели (LLM). Работаете ли вы с текстом, PDF, презентациями PowerPoint или документами Word, MegaParse упрощает работу и гарантирует, что ни одна информация не будет потеряна в процессе разбора. Разработанный компанией QuivrHQ, инструмент имеет открытый исходный код и бесплатен для использования. Он предназначен для быстрого и эффективного разбора файлов самых разных форматов, включая текст, PDF, PowerPoint, Excel, CSV и документы Word.

Список функций

• многофункциональный парсерПоддержка множества типов файлов, включая текстовые, PDF, PowerPoint, Excel, CSV и документы Word.
• Информация не теряется: Убедитесь, что никакая информация не теряется в процессе разбора.
• быстро и эффективно: В основе дизайна лежит скорость и эффективность.
• С открытым исходным кодом и бесплатно: Проект с открытым исходным кодом, свободный для использования.
• Поддержка множественного содержимого: Поддержка разбора таблиц, оглавлений, заголовков, колонтитулов и изображений.

Три режима синтаксического анализа.

• UnstructuredParser
• Визуальный парсер (MegaParseVision) - поддержка мультимодальных моделей, таких как GPT-4V и Claude 3
• LlamaParser - расширенные возможности парсинга через Llama Cloud

Производительность.
Согласно эталонному тесту, режим MegaParseVision имеет коэффициент сходства 0,87, что является лучшим режимом парсинга с точки зрения производительности.

Основные сценарии применения.

• Необходимо импортировать различные документы в систему LLM для обработки
• Сценарии, требующие сохранения форматирования документов и целостности содержимого
• Задачи пакетной обработки документов

Проект находится в стадии активного развития, планируется добавить больше функций, таких как.

• Улучшения в инспекторе таблиц
• Добавьте модульную постобработку
• Добавление поддержки структурированного вывода

Использование помощи

Процесс установки

1. Установка MegaParse::

   pip install megaparse
   

2. Настройка ключей API: Поместите свой OpenAI или Антропология Ключ API добавляется в .env Документация.
3. Установка зависимостей::
   • Для изображений и файлов PDF установите poppler ответить пением tesseract.
   • Если вы используете Mac, вам также необходимо установить libmagic::

     brew install libmagic
     

Использование MegaParse

1. Импорт MegaParse::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.unstructured_parser import UnstructuredParser
   parser = UnstructuredParser()
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

2. Использование MegaParse Vision::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.megaparse_vision import MegaParseVision
   model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))
   parser = MegaParseVision(model=model)
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Улучшение результатов с помощью LlamaParse

1. Создайте учетную запись Llama Cloud и получите ключ API.
2. Измените парсер на LlamaParser::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.llama_parser import LlamaParser
   parser = LlamaParser(api_key=os.getenv("LLAMA_CLOUD_API_KEY"))
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

Используется в качестве API

1. Использование MakeFile::
   Запустите его в корневом каталоге проекта:

   make dev
   

2. Доступ к документам::
   Откройте браузер, чтобы получить доступ к localhost:8000/docs Просмотр информации о различных конечных точках.