はじめに
OkareoはAI開発者向けに構築されたプラットフォームで、ユーザーがAIモデルをテストし、バグを発見し、パフォーマンスを向上させることに重点を置いています。大規模言語モデル（LLM）、インテリジェンス、検索拡張世代（RAG）システムのためのデータ生成からリアルタイム監視までの完全なツールを提供します。Okareoはリアルタイム性を重視し、モデルにエラーが発生した場合に警告を発し、チームコラボレーションと大規模プロジェクトをサポートします。信頼性の高いAIシステムを必要とする開発チームに最適です。
機能一覧
- 偽の発見幻覚や不正確な回答など、モデル出力の問題を検出する。
- 合成データ生成一般的なシナリオから極端なシナリオまで、多様なテストデータを自動的に生成します。
- リアルタイム・モニタリング本番環境におけるモデルの挙動を追跡し、異常が検出された場合にアラートを発します。
- モデリング評価テストLLM、インテリジェンス、あるいは ラグ 詳細なレポートを作成する。
- バウンダリーテスト複雑なシナリオを通してモデルの限界を探り、潜在的な故障のポイントを特定する。
- 最適化ツールドメイン固有のパフォーマンスを向上させるために、モデルとリトリーバーを調整する。
- チームワーク複数人での共同作業をサポートし、開発プロセスを合理化します。
- CI/CDの統合自動化開発パイプラインにテストを組み込む。
ヘルプの使用
オカレオの使い方は、ウェブ操作とコード統合の2つに分かれます。以下は、登録からモデルの最適化まで、完全にスピードアップするための詳細なステップです。
登録とログイン
インタビュー https://okareo.com/無料で始める」ボタンをクリックしてください。メールアドレスとパスワードを入力して登録し、認証メールが届いたらリンクをクリックしてアカウントを有効にしてください。サインイン https://app.okareo.com/コンソールに移動します。ここでプロジェクトを管理し、結果を見ることができる。
APIキーの取得
ログイン後、右上の「Settings > API Token」をクリックし、以下のようなキーを生成する。 YOUR_OKAREO_API_KEYこの鍵は、コード・コールまたはCLI操作に使用される。この鍵は、コード・コールまたはCLI操作に使用され、安全な場所に保管することが推奨される。
CLIツールのインストール
オカレオをコマンドラインから操作したい場合は、お使いのシステムに応じてCLIをインストールしてください：
- マックオス走る
curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_darwin_arm64.tar.gz解凍tar -xvf okareo_darwin_arm64.tar.gz. - ウィンドウズPowerShellで実行する
Invoke-WebRequest -Uri https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_windows_386.tar.gz -OutFile okareo_windows_386.tar.gz解凍tar -xvf okareo_windows_386.tar.gz. - リナックス走る
curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz解凍tar -xvf okareo_linux_386.tar.gz.
開梱後 okareo システム・パスに移動する（例 /usr/local/bin)、実行する okareo -v バージョンを確認する。
初期化プロジェクト
ターミナルでプロジェクト・ディレクトリに移動し、実行する：
okareo init
生成 .okareo フォルダ、編集 config.yml記入する：
api_key: YOUR_OKAREO_API_KEY
初期設定が完了し、プロジェクトの準備が整った。
合成データの生成
ウェブサイトにログインし、"Synthetic Scenario Copilot "を選択する。Generate "をクリックしてテストデータを生成し、JSONLファイルとしてダウンロードする：
{"input": "产品坏了怎么办？", "expected_output": "请联系客服申请维修。"}
CLIモード：
okareo generate --scenario "产品故障投诉" --output test_data.jsonl
このデータは、その後のテストに使用することができる。
モデルの登録と評価
Python SDKにモデルを登録し、インストールします：
pip install okareo
コンパイル eval_model.py::
from okareo import Okareo
from okareo.model_under_test import OpenAIModel
okareo = Okareo("YOUR_OKAREO_API_KEY")
model = okareo.register_model(
name="MyAgent",
model=OpenAIModel(model_id="gpt-3.5-turbo", temperature=0)
)
result = model.run_test(scenario_file="test_data.jsonl", test_type="classification")
print(result["link"])
一度実行されると、結果は精度やその他の指標を示すウェブレポートにリンクする。
リアルタイムのモニタリングとアラート
本番環境の監視にはエージェントが必要です。OpenAIのコールを修正する：
from openai import OpenAI
client = OpenAI(
base_url="https://proxy.okareo.com",
default_headers={"api-key": "YOUR_OKAREO_API_KEY"},
api_key="YOUR_OPENAI_KEY"
)
response = client.chat.completions.create(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "产品怎么样？"}]
)
データはオカレオのウェブベースの「モニタリング」ページに記録され、リアルタイムでパフォーマンスを表示し、幻覚やエラーがあればシステムに警告を発する。
テスト・バウンダリー・シナリオ
Web側で「ユーザーが5回連続で質問し、要件を変更する」などの複雑なシナリオを入力し、対話データを複数回生成する：
okareo generate --scenario "多轮需求变化" --output edge_cases.jsonl
モデルの安定性を確認するため、これらのデータを使ってテストした。
最適化モデル
評価レポートには、無関係なコンテンツが検索されるなどの問題が表示されます。手がかりとなる単語を調整したり、モデルを微調整した後、テストを再実行してください。ウェブ側には、最適化の効果を確認するための比較機能があります。
CI/CDの統合
GitHubアクションに追加 .github/workflows/okareo.yml::
name: Okareo CI
on: [push]
jobs:
test:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v3
- run: curl -O -L https://github.com/okareo-ai/okareo-cli/releases/latest/download/okareo_linux_386.tar.gz
- run: tar -xvf okareo_linux_386.tar.gz
- run: ./okareo run --file flows/test_flow.py
env:
OKAREO_API_KEY: ${{ secrets.OKAREO_API_KEY }}
各プッシュは自動的にテストされる。
結果の表示とデバッグ
サインイン https://app.okareo.com/レポートは「評価」セクションでご覧いただけます。レポートには、各シナリオのスコアとエラーの詳細が含まれており、デバッグが容易です。
これらのステップは、インストールから最適化までの全プロセスをカバーしており、詳細な説明によりオカレオを簡単に使用することができます。
アプリケーションシナリオ
- インテリジェントな顧客サービスの開発
カスタマーサービスAIを構築中で、苦情に正しく対応できるかどうかを確認したい。オカレオを使って苦情シナリオを生成し、対応をテストして最適化しましょう。 - RAGアプリケーションの構築
RAGシステムは検索と生成の品質を保証する必要があり、オカレオは検索精度をテストし、生成されたコンテンツを改善することができます。 - 複合知能のデバッグ
あなたはマルチタスク・インテリジェンスを開発し、オカレオはそのロバスト性をチェックするために境界シナリオをシミュレートすることができる。
品質保証
- オカレオはどのような問題を監視しているのか？
幻覚、不正確な回答、遅延などの問題を検出し、本番中にリアルタイムで警告を発します。 - どのような言語モデルに対応していますか？
API経由でアクセスできる限り、OpenAIやカスタムモデルなどをサポートする。 - 無料版と有料版の違いは？
無料版は小規模なテストに適しており、有料版ではより多くのデータ生成とモニタリング機能を利用できる。
日本語 
简体中文 
English 
Deutsch 
Português do Brasil