OpenAOE: 大規模モデルグループチャットフレームワーク: 複数の大規模言語モデルと同時にチャットする

はじめに

OpenAOEはオープンソースの大規模モデルグループチャットフレームワークで、現在の市場には複数のモデルに並行して対応するチャットフレームワークがないという問題を解決することを目的としています。OpenAOEを使えば、ユーザーは複数の大規模言語モデル（LLM）と同時に会話し、並列出力を得ることができます。このフレームワークは、GPT-4、Google Palm、Minimax、Claudeなど、複数の商用およびオープンソースのLLM APIへのアクセスをサポートしており、ユーザーは他のLLM APIへのアクセスをカスタマイズすることができます。OpenAOEは、様々なユーザーのニーズを満たすために、バックエンドAPIとWeb-UIを提供しており、LLM研究者、評価者、エンジニアリング開発者、非専門家に適しています。開発者および非専門家に適しています。

機能一覧

• マルチモデル・パラレルレスポンス並列出力を得るために、複数の大規模言語モデルとの会話を同時にサポート。
• 商用およびオープンソースモデルへのアクセスGPT-4、Google Palm、Minimax、Claude、その他の商用およびオープンソースの大規模言語モデルAPIへのアクセスをサポートします。
• カスタムモデルへのアクセス他のビッグモデルAPIへのユーザー定義のアクセスを可能にする。
• バックエンドAPIとWeb-UIバックエンドAPIとWeb-UIを提供し、さまざまなユーザーのニーズに対応。
• 複数の動作モードpip, docker, source経由でのOpenAOEの実行をサポート。

ヘルプの使用

設置プロセス

pipによるインストール

1. Pythonのバージョンが3.9以上であることを確認してください。
2. 以下のコマンドを実行して、OpenAOEをインストールします：

   pip install -U openaoe

3. 設定ファイルを使用してOpenAOEを起動します：

   openaoe -f /path/to/your/config-template.yaml

dockerによるインストール

1. OpenAOE の docker イメージを取得します：

   docker pull opensealion/openaoe:latest

またはドッカーイメージをビルドする：

   git clone https://github.com/internlm/OpenAOE
cd OpenAOE
docker build . -f docker/Dockerfile -t opensealion/openaoe:latest

2. docker コンテナを起動します：

   docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

使用ガイドライン

1. 設定ファイルOpenAOEを起動する前に、設定ファイル config-template.yamlこのファイルはバックエンドとフロントエンドの設定をコントロールするために使用される。
2. アクセスモデルAPI設定ファイルでは、GPT-4、Google Palm、Minimax、Claudeなど、アクセスする必要があるモデルAPIを設定することができます。また、他の大きなモデルAPIへのアクセスをカスタマイズすることもできます。
3. サービス開始インストール後、OpenAOEサービスを起動し、提供されるWeb-UIから操作することも、バックエンドAPIから統合することもできます。
4. パラレル・ダイアログWeb-UIでは、ユーザーがプロンプトの単語を入力すると、OpenAOEが複数の大規模言語モデルに同時にリクエストを送信し、並列応答を返します。
5. 結果の分析異なるモデルの応答結果を比較し、分析・評価することができます。