Agenta：AIアプリケーションに統合されたキューワードとモデルの効果を評価するツール

はじめに

AgentaはオープンソースのAIモデル管理ツールで、ユーザが簡単にキューワードを使って実験したり、モデルの効果をテストしたり、実行をモニターしたりすることを専門としています。AIアプリケーションを素早く開発したい人に適しており、操作が簡単なプラットフォームを提供します。Agentaは、LangChainのような一般的なAIフレームワークをサポートしており、強力かつ柔軟です。オープンソースであるため、誰でも無料で使うことができ、GitHubでコードを見つけ、自分で変更を加えることができる。現在、GitHubで2.1千以上の「いいね！」がついており、非常に人気があることを意味している。

機能一覧

• キュー・ワード実験エリアウェブページにプロンプトの単語を入力すると、さまざまなAIモデルを試すことができ、結果を比較することもできます。
• タスクフローのカスタマイズ例えば、情報に基づいてモデルに質問に答えさせるなど、独自のAIタスクフローを構築することができます。
• モデル効果テスト自動採点や誰かに見てもらうこともできます。
• 手動検査サポートチームと協力してモデルの反応を比較し、ベストを選ぶことができる。
• キュー・セーブ試行錯誤したキュー・ワードを保存しておけば、使いたいときにいつでも呼び出せる。
• リアルタイム運転監視AIの使用料、動作速度、問題の有無を確認する。

ヘルプの使用

設置プロセス

Agentaはご自分のパソコンにインストールして使用することもできますし、クラウドサービスを利用することもできます。以下はパソコンにインストールする手順です：

1. 環境を整える
   • コンピュータにDockerとDocker Composeがあることを確認してください。DockerはAgentaの実行に不可欠なツールです。
   • LinuxまたはmacOSが望ましいが、WindowsユーザーはまずWSL2を開く必要がある。
   • Python（3.10以上を推奨）とGitがインストールされていることを確認する。
2. ダウンロードして起動する
   • ターミナルを開き、Agentaをダウンロードするコマンドを入力する：

     mkdir agenta && cd agenta
     curl -L https://raw.githubusercontent.com/agenta-ai/agenta/main/docker-compose.gh.yml -o docker-compose.gh.yml
     

   • それからサービスを開始する：

     docker compose -f docker-compose.gh.yml up -d
     

   • 数分待ってからブラウザを開き、次のように入力する。 http://localhost:3000そうすればページを見ることができる。
3. 設定オプション（オプション）
   • Agentaに匿名化されたデータを収集させたくない場合は エージェントウェブ/.env ファイルに telemetry_tracking_enabled（テレメトリー・トラッキング・イネーブルド として設定した。 擬似.
   • コマンドライン（CLI）を使用するユーザーは ~/.agenta/config.tomlとして設定する。 telemetry_tracking_enabled = false.
4. 装着されていることを確認する。
   • ブラウザにAgentaのウェルカムページが表示されたら成功のサインです。
   • クラウドを利用したい場合は、公式サイトでAWSやその他のクラウドサービスへの接続方法を確認できる。

主な機能の仕組み

1.キュー・ワード実験エリア

• どうすれば入れますか？Agentaにログインし、左メニューの "Playground "をタップしてください。
• キュー例：「短いエッセイを書く」。
• モデルリストからAIモデル（例：GPT-4）を選択し、複数選択して比較することができます。
• 走成績"Run "をタップすると、さまざまなモデルの答えを見ることができます。
• 変更と置換悪い答えだと思ったらプロンプトを変更し、問題がなければ "Save "をクリックしてください。
• どこで使われているのですか？どの模範解答がより的確に答えられるか試してみたり、より正確な解答になるようにキュー・ワードをチューニングしたりするのはいいことだ。

2.独自のミッション・フローを構築する

• 新築プロセスワークフロー "をクリックし、"新規ワークフロー "を選択し、タイプ（例：Q&Aフロー）を選択します。
• スタッフナレッジベースのアドレスやタスクの要件など、必要な情報を入力します。
• ぜひお試しあれ。Test "をタップし、結果が正しいかどうかを確認する。
• チームワーク同僚に頼んで一緒にパラメーターを変えてもらい、その効果を見る。
• 保存と使用チューニングが終わったら保存しておいて、すぐに使えるようにしておくんだ。
• どこで使われているのですか？AIに情報を読み取らせたり、質問に答えさせたりするような複雑な作業に適している。

3.モデルの有効性をテストする

• テスト開始評価」をクリックし、「新規評価」を選択する。
• サブテスト市販の採点ツールを選ぶか、自分でテストコードを書く。
• 走行データテスト問題を入れて「実行」をクリックすると、成績表が表示されます。
• 人を雇う手動でチェックしたい場合は、「Human Eval」をクリックし、誰かに答えを選んでもらう。
• ようすをうかがうテストの後には、そのモデルが優れているかどうかを示すチャートがある。
• どこで使われているのですか？モデルが機能するかチェックしたり、問題を探したりするのに適している。

4.モニタリング業務

• どこを見るかモニタリング」をタップすると、AIがどの程度機能しているかを確認できる。
• データを見てください。いくら使ったか、どれくらいのスピードで走ったか、エラーはなかったか。
• 監査証跡アプリケーションを選び、それぞれのリクエストの詳細を見てください。
• しゅうぜんもんだい何か問題が起きたら、"Trace "をクリックして原因を探ってください。
• どうやって変えるんだ？データに基づいてキュー・ワードやパラメーターを調整し、より良い走りができるようにする。
• どこで使われているのですか？本番が始まっても、問題ないか目を光らせておくのはいいことだ。

チップ

• 網目インストール時にネットワークが安定していないと、Dockerのダウンロードが止まってしまいます。
• 管轄範囲複数のユーザーに権限を設定し、誰にも変更させないこと。
• アピるGitHubのドキュメントを参照するか、Slackで質問してください。

以上のステップで、Agentaをすぐに使い始めることができ、キュー・ワードのチューニング、モデルの管理、データの確認が簡単にできます。一人でプレーする場合でも、チームで使用する場合でも、多くの労力を節約することができます。