製品紹介
ノットダイアモンドは「LLMルーター」であり、インプットに基づいて最適な回答モデルを選択し、適切な質問に適切なモデルを選択し、LLM使用コストを継続的に最適化するプロセスを自動化します。
LLMモデルルーター」のフルセットを最適にチューニングする機能を提供し、ルーティングルールのカスタムチューニングを可能にします。
これは開発者のためのツールだ。
彼は、平均的なユーザーに対して、彼のAIチャット・インターフェイスを月に10万回無料で使用できるとしている...。GPT-4o、Claude 3 Opus、Gemini 1.5 Pro、Perplexityなどなど。このような大きな高価なモデル。
理論
Not Diamondは、各メッセージに最適なAIモデルを自動的に推薦し、あなたのフィードバックに基づいてリアルタイムで学習します。
👍/👎「いいね！」を押したり、返信をタップすると、Not Diamondはすぐにそのモデルがあなたのヒントで良いパフォーマンスをしているかどうかを学習し、あなたのフィードバックを使って今後のレコメンデーションを改善します。実際の結果を見るには、返信をタップして、もう一度同じ質問をしてみてください。
フラッシュアイコンをクリックして、別のモデルを使ってこの回答を再生成し、どのように回答するかを比較することもできます。
📊 Diamondは100%無料でご利用いただけます。しかし、LLMの各レスポンスには、レスポンスのレイテンシーとコストのメトリクスが表示されるので、その違いを比較することができます。
⚔️ いつでもアリーナモードをオンにして、直接競合するモデルを比較することができます。
⚙️ 「設定」タブをクリックすると、オプションとして特定のLLMを選択・解除できる。
✏️ 質問に対するノットダイアモンドの応答を改善するために、システムプロンプトを編集することができます。
📄 Not Diamondがどのように機能するか、またはモデルルーティングを自分のアプリケーションに統合するには、Code Documentationアイコンをクリックします。
以上です！さっそくメッセージを送ってみて、正しいモデルにルーティングされる様子をご覧ください。Not Diamondがあなたの好みに合わせてルーティングをパーソナライズできるように、フィードバックをお忘れなく。
機能的特徴
自分のルーターを鍛える
Not Diamondのベースルーターは、5分もかからずに使い始めることができます。独自の評価データをお持ちの場合は、Not Diamondでユースケースに最適化されたカスタムルーターをトレーニングすることができます。
息をのむようなスピード。
トークンの処理にかかる時間で最適なモデルを選択するのに役立ちます。
品質とコストのインテリジェントなバランス
品質に妥協することなく、より高速で安価なモデルを効率的に使用する。
関節のヒント 最適化サポート
各LLMに最適なチップをプログラムすることで、常に正しいモデルとチップが使用されます。手作業での調整や実験は不要です。
チャット・インターフェース
モデルを選択
質問に答えるモデルを選択し、競争モードにチェックを入れると、回答比較のためにモデルから2つが選択されます。
答えを比較対照する
パラレルアンサーは、競争モードが選択されているため、出力された答えはデフォルトでモデルを隠し、答えが選択された後に対応するモデルのモデルが表示されます。
利用制限
3つの質問を入力し、毎回2人の大型モデルを呼んで質問に答えてもらうと、ノルマを3回消化することになり、月間ノルマの10万分の3を占めてしまう。
