テキスト生成ウェブUI：複数のバックエンド・サービスをサポートするGradioベースの大規模言語モデル・チャット・インターフェース

はじめに

テキスト生成Web UIはLarge Language Model (LLM)用に設計されたGradioベースのWeb UIです。Transformers、llama.cpp、ExLlamaV2を含む様々なテキスト生成バックエンドをサポートしています。ユーザーは、簡単なインストール手順で、テキスト生成タスクのためにツールを迅速に導入し、使用することができます。

機能一覧

• マルチモデル対応Transformers、llama.cpp、ExLlamaV2、その他多くのテキスト生成バックエンドをサポート。
• プロンプトの自動フォーマットJinja2のテンプレートを使って、ヒントを自動的にフォーマットします。
• 複数のチャットモードチャットモードは、インストラクト、チャット・インストラクト、チャットがある。
• チャット履歴ダイアログを素早く切り替えることができます。
• 自由なテキスト生成チャットラウンドに関係なく、デフォルト/ノートブックタブで自由にテキストを生成。
• 複数のサンプリング・パラメーター幅広いサンプリング・パラメーターと生成オプションにより、テキスト生成を細かく制御できます。
• モデル切り替え再起動することなく、インターフェイス上で簡単に機種を切り替えることができます。
• LoRA微調整ツール簡単なLoRAの微調整ツールが用意されている。
• 延長サポートビルトインおよびユーザー提供の拡張機能を幅広くサポート。

ヘルプの使用

設置プロセス

1. リポジトリをクローンまたはダウンロードする::

   git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

2. オペレーティング・システムに合ったスクリプトを実行する::
   • Linuxユーザー向け： bash
./start_linux.sh

   • Windowsユーザー向け： cmd
start_windows.bat

   • macOSユーザーの方へ： bash
./start_macos.sh

   • WSLユーザーの方へ： bash
./start_wsl.bat

3. GPUベンダーを選択プロンプトに従ってGPUベンダーを選択してください。
4. ブラウザアクセスインストールが終了したら、ブラウザーを開いて http://localhost:7860.

使用ガイドライン

1. 起動インターフェース適当なスタートアップ・スクリプトを実行した後、ブラウザーを開いて http://localhost:7860.
2. モデルを選択インターフェイスで希望のテキスト生成モデルを選択します。
3. 入力プロンプト入力ボックスにキュー・ワードを入力し、生成パラメータを選択します。
4. テキストの生成生成ボタンをクリックすると、生成されたテキストが表示されます。
5. スイッチング・モードインストラクト、チャットインストラクト、チャットの3つのモードを必要に応じて切り替えることができます。
6. 履歴を見る履歴 "メニューで会話を素早く切り替えることができます。
7. 拡張機能機能強化のために必要な拡張機能をインストールし、有効にしてください。

詳細な機能操作

• プロンプトの自動フォーマットプロンプトが入力されると、Jinja2のテンプレートを使って自動的にフォーマットされ、モデルに適合するようになります。
• 複数のサンプリング・パラメーター生成されるテキストのスタイルと長さを制御するために、温度、最大長、反復ペナルティなどのパラメータを調整することができます。
• 自由なテキスト生成Default/Notebookタブでは、チャットのラウンドに制限のない自由なテキスト生成が可能で、長いテキスト生成タスクに適しています。
• LoRAの微調整内蔵のLoRA微調整ツールを使って、ユーザーはモデルを微調整し、特定のタスクの生成を強化することができます。
• 延長サポート拡張機能をインストールすることで、音声合成や画像生成などの機能を追加することができます。