MegaParse：各タイプのドキュメントをLLMで利用可能なデータに解析し、表や写真などドキュメント内のすべての情報をそのまま保存する。

はじめに

MegaParseは、Large Language Model (LLM)のデータ処理を最適化するために設計された、パワフルで多機能な文書解析ツールです。MegaParseは、テキスト、PDF、PowerPointプレゼンテーション、Word文書など、どのような文書でも簡単に処理でき、構文解析の過程で情報が失われることはありません。QuivrHQによって開発されたこのツールは、オープンソースで無料で使用でき、テキスト、PDF、PowerPoint、Excel、CSV、Word文書など、幅広いファイル形式に対して、高速で効率的なファイル解析サービスを提供するように設計されています。

機能一覧

• 多機能パーサーテキスト、PDF、PowerPoint、Excel、CSV、Word文書を含む複数のファイル形式をサポート。
• 情報が失われることはない解析の過程で情報が失われないようにする。
• 迅速かつ効率的スピードと効率性を重視した設計の核心。
• オープンソースで無料: オープンソースプロジェクト。
• マルチコンテンツ対応テーブル、目次、ヘッダー、フッター、画像の解析をサポート。

3つの解析モード。

• 非構造化パーサー
• ビジュアル・パーサー(MegaParseVision) - GPT-4Vやクロード3などのマルチモーダルモデルをサポート。
• LlamaParser - Llama Cloudによる解析機能の強化

パフォーマンス
ベンチマークテストによると、MegaParseVisionモードの類似度比は0.87であり、性能の面で最も優れた構文解析モードである。

主な使用例

• 様々な書類をLLMシステムにインポートして処理する必要がある。
• ドキュメントのフォーマットとコンテンツの整合性を維持する必要があるシナリオ
• バッチ文書処理タスク

このプロジェクトは現在活発に開発が進められており、次のような機能を追加する予定だ。

• テーブル・インスペクターの改善
• モジュール式ポストプロセッシングの追加
• 構造化出力サポートの追加

ヘルプの使用

設置プロセス

1. MegaParseのインストール::

   pip install megaparse
   

2. APIキーの設定OpenAIまたは アンソロピック APIキーは 環境 ドキュメンテーション
3. 依存関係のインストール::
   • 画像やPDFファイルの場合は ポプラ 歌で応える 四次元超立方体.
   • Macをお使いの場合は、次のファイルもインストールする必要があります。 リブマジック::

     libmagicをインストールする
     

MegaParseの使用

1. メガパースのインポート::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.unstructured_parser import UnstructuredParser
   parser = UnstructuredParser()
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

2. メガパースビジョンの使用::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.megaparse_vision import MegaParseVision
   model = ChatOpenAI(model="gpt-4o", api_key=os.getenv("OPENAI_API_KEY"))
   パーサー = MegaParseVision(model=model)
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

LlamaParseで成果を高める

1. Llama Cloudアカウントを作成し、APIキーを取得する。.
2. パーサーをLlamaParserに変更する。::

   from megaparse import MegaParse
   from langchain_openai import ChatOpenAI
   from megaparse.parser.llama_parser import LlamaParser
   parser = LlamaParser(api_key=os.getenv("LLAMA_CLOUD_API_KEY"))
   megaparse = MegaParse(parser)
   response = megaparse.load("./test.pdf")
   print(response)
   megaparse.save("./test.md")
   

APIとして使用

1. MakeFileの使用::
   プロジェクトのルート・ディレクトリで実行する：

   開発する
   

2. ドキュメントへのアクセス::
   ブラウザを開いてアクセスする localhost:8000/docs 別のエンドポイント情報を表示します。

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る