wdoc: 膨大なマルチソースドキュメントからコンテンツを取り出し、知識を要約する

はじめに

wdocは強力なRAG（Retrieval Augmentation Generation）システムで、大規模で多様な文書の処理と分析のために設計されています。PDF、ウェブページ、YouTubeビデオ、オーディオファイルなど、幅広い種類のドキュメントから検索することができる。wdocは特に大量の情報ソースの処理に適しており、大量の情報を扱う必要のある研究者、学生、専門家にとって理想的なツールである。システムは文書処理にLangChainライブラリを利用し、幅広いLLM（大規模言語モデル）プロバイダーをサポートし、高精度の検索と要約機能を提供します。wdocは現在も絶え間なく開発中で、ユーザーからのフィードバックや機能リクエストも歓迎します。

機能一覧

• マルチファイル・タイプのサポートPDF、ウェブページ、YouTubeビデオ、オーディオファイルなど、15種類以上のファイルをサポート。
• 高精度の検索と要約埋め込み検索とセマンティックバッチ処理により、高精度の文書検索と要約を提供します。
• マルチLLMサポート複数のLLMプロバイダーがサポートされており、ローカル・モデルやセキュリティ・レイヤーを追加したプライベート・モデルも含まれます。
• 高度なRAG機能弱いLLMは無関係な文書をフィルタリングするために使われ、強いLLMは正確な回答を提供し、意味的なクラスタリングとソートによって回答をマージするために使われる。
• 拡張が容易ツールだけでなく、他のPythonプロジェクトでwdocを使えるようにするライブラリもある。
• 詳細なドキュメントとヘルプ豊富なドキュメントとヘルプ情報により、ユーザーはすぐに使い始めることができます。

ヘルプの使用

取り付け

wdocの実行には現在Pythonバージョン3.11が必要です。正しいバージョンのPythonを持っていることを確認してから、以下の手順に従ってインストールしてください：

1. インストールにはpipを使う：

   pip install -U wdoc

2. または特定のgitブランチをインストールする：

   pip install git+https://github.com/thiswillbeyourgithub/wdoc@dev
   

3. pdftotextとfasttextのサポートをインストールすることをお勧めします：

   pip install -U wdoc[pdftotext] wdoc[fasttext］
   

利用する

1. 必要なAPIキーを環境変数として追加する：

   export OPENAI_API_KEY="あなたのAPIキー"
   

2. wdocを開始する：

   wdoc --task=query -path=あなたのドキュメントパス
   

機能 操作の流れ

ドキュメント検索

文書の内容を照会するにはwdocを使う：

wdoc --task=query --path=your document path --filetype=pdf --query="query content"

こ の コ マ ン ド は、 指定 さ れたパスか ら PDF フ ァ イ ルを読み込み、 ク エ リ に従っ てそれを取得 し 、 関連文書を返 し ます。

ドキュメントの概要

文書を要約するにはwdocを使う：

wdoc --task=summarize --path=your document path --filetype=pdf

このコマンドは、PDFファイルへの指定されたパスを要約し、文書内容の詳細な要約を返します。

複合タスク

クエリーとサマリーのタスクを組み合わせることもできる：

wdoc --task=summarize_then_query --path=your document path --filetype=pdf

このコマンドは、まず文書の内容を要約し、その要約についてさらに問い合わせることができる。

高度な機能

wdocは以下のような様々な高度な機能をサポートしている：

• マルチファイル・タイプのサポート再帰パス、リンクされたファイルなどを介して複数のファイルタイプをロードします。
• 高度なRAG機能マルチクエリ検索やセマンティックバッチ処理などの技術を用いて検索精度を向上。
• 地方および民間のLLMサポートデータの安全性を確保し、外部プロバイダーに漏洩しないようにする。
• 詳細なドキュメントとヘルプスルーwdoc --help使い方の詳細はこちら。