TextDistiller：ワンクリックで本全体を要約し、本の内容を効率的に抽出し、核となるアイデアを素早く把握する。

はじめに

TextDistillerは、書籍の章ごと、または全体を要約し、簡潔かつ包括的な概要を提供するために設計された高度なAI駆動型ツールです。TextDistillerを使用することで、ユーザーは書籍の核となるアイデアや重要なポイントを素早く把握することができ、内容を理解しながら時間を節約することができます。このツールは、最先端の自然言語処理技術を駆使し、生成される要約が正確で読みやすいことを保証するため、書籍に関する情報に素早くアクセスして理解する必要がある人に適しています。

機能一覧

• 章ごとの要約各章の詳細な要約を提供し、ユーザーが特定の章の内容に集中しやすくなっています。
• 本の概要章立てされていない書籍については、内容全体の要約を提供する。
• 自然言語処理要約内容の正確さと読みやすさを保証するために、最先端のNLP技術を活用。
• ユーザーフレンドリーなインターフェースシンプルで直感的なインターフェイス設計により、要約プロセスが簡単に行えます。

ヘルプの使用

設置プロセス

1. クローン倉庫git clone https://github.com/johngai19/TextDistiller.git
2. 必要な依存関係をインストールします：pip install -r requirements.txt
3. コマンドラインインターフェイス（CLI）を実行する：python3 bsCLI.py --path <パスからPDFファイルへ
4. Flaskサーバーを実行し、メール設定を更新します：
   • 更新 mail.py 正鵠を得る 送信者アドレス 歌で応える 送信者パス.
   • うごきだす views.py::python3 views.py

使用プロセス

章ごとの要約

1. ブックのPDFファイルへのパスを、コマンドラインツールへのパラメータとして渡します。
2. このツールは、本を章ごとに自動的に分割し、各章の詳細な要約を作成する。
3. ユーザーは各章の核となるコンテンツを閲覧し、本の主要なアイデアを素早く把握することができる。

本の概要

1. 章に分かれていない本の場合、このツールは本全体を全体として扱う。
2. 作成された要約は、本の重要な要素をすべて網羅し、包括的な概要を提供する。

主な機能

• 章ごとの要約コマンドラインで実行 python3 bsCLI.py --path <パスからPDFファイルへこのツールは、各章の要約を自動的に処理し、生成する。
• 本の概要また、コマンドラインから上記のコマンドを実行すれば、本の構成に基づいて適切な治療を自動的に選択してくれる。
• 概要を見る生成された要約は、指定されたディレクトリにテキストファイルとして保存され、ユーザーが直接開いて見ることができる。

注目の機能

• 自然言語処理（NLP）技術TextDistillerは、チャンキング、トークン化、要約生成、デコードのステップを通して、生成された要約が正確で読みやすいことを保証するために、T5-smallの事前訓練されたモデルを利用しています。
• ユーザーフレンドリーなインターフェースTextDistillerはシンプルで直感的なインターフェースを提供し、コマンドラインツールとFlaskサーバーの両方を簡単に使い始めることができます。

TextDistillerの仕組み

TextDistillerは、HuggingFaceトランスフォーマーの T5-小 正確で読みやすい要約を生成するために、モデルを事前に訓練する。プロセスには以下が含まれる：

1. チャンク章ごと、あるいは全体として、本を分割する。
2. 分詞使用 T5Tokenizer これらのブロックをセグメント化し、そのブロックが次のブロックと一致していることを確認する。 T5 モデルの互換性。
3. 抽象生成レキシコンによって処理されたテキストは、次のように渡される。 T5ForConditionalGeneration このモデルは、次のような要約を生成する。 トークン ID。
4. デコーダー使用 T5Tokenizer な デコード 関数は、ダイジェスト化されたトークンIDを読み取り可能なテキストにデコードする。