AIパーソナル・ラーニング
と実践的なガイダンス

LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

 

はじめに

LiteLLMは、BerriAIによって開発されたPython SDKとプロキシサーバーで、複数の大規模言語モデル(LLM)APIの呼び出しと管理を簡素化し、統一します。OpenAI、HuggingFace、Azureなどを含む100以上のラージモデルAPIをサポートし、OpenAIフォーマットに統一しているため、開発者は異なるAIサービス間の切り替えや管理を簡単に行うことができます。また、安定したDockerイメージと詳細な移行ガイドも提供します。LiteLLMは、プロキシサーバーとPython SDKを通じて、100以上のLLM APIをOpenAI形式で呼び出すことができ、開発効率と柔軟性を大幅に向上させます。

LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

1.キーの作成


 

LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

2.モデルの追加

 

LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

3.支出の追跡

 

LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

4.ロードバランシングの設定

 

機能一覧

  • マルチプラットフォーム対応OpenAI、Cohere、Anthropicなど、複数のLLMプロバイダーをサポート。100以上のビッグモデルAPIコールをサポート。
  • 安定版12時間の負荷テストを実施した安定したDockerイメージを提供します。予算とリクエスト頻度の制限設定に対応。
  • プロキシサーバー複数のLLM APIをプロキシサーバ経由で統一的に呼び出し、APIフォーマットをOpenAIフォーマットに統一的に変換。
  • Python SDK開発プロセスを簡素化するためにPython SDKが提供されています。
  • ストリーミング対応ユーザー・エクスペリエンスを向上させるために、ストリーミング・リターン・モデル・レスポンスをサポート。
  • コールバック関数複数のコールバックをサポートし、ロギングやモニタリングを容易にします。

 

ヘルプの使用

インストールとセットアップ

  1. DockerのインストールDockerがシステムにインストールされていることを確認してください。
  2. プルミラー使用 ドッカプル コマンドはLiteLLMの安定したイメージを取り出します。
  3. プロキシサーバーの起動::
    cd litellm
    echo 'LITELLM_MASTER_KEY="sk-1234"' > .env
    echo 'LITELLM_SALT_KEY="sk-1234"' > .env
    ソース .env
    pytest を実行する。
    
  4. クライアントの設定プロキシサーバーのアドレスとAPIキーをコードに設定します。
    インポート openai
    client = openai.OpenAI(api_key="your_api_key", base_url="http://0.0.0.0:4000")
    response = client.chat.completions.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hello, how are you?" }]))
    print(response)
    

使用機能

  1. 呼び出しモデルスルー model=/<モデル名 異なるプロバイダーのモデルを呼び出す。
  2. ストリーミング対応設定 stream=True ストリーミング応答を取得する。
    response = await acompletion(model="gpt-3.5-turbo", messages=messages, stream=True)
    for part in response.
    print(part.choices.delta.content or "")
    
  3. コールバックの設定入出力を記録するコールバック関数を設定します。
    litellm.success_callback = ["lunary", "langfuse", "athina", "helicone"] ]。

 

AIイージー・ラーニング

AIを始めるための素人ガイド

AIツールの活用方法を、低コスト・ゼロベースから学ぶことができます。AIはオフィスソフトと同様、誰にとっても必須のスキルです。 AIをマスターすれば、就職活動で有利になり、今後の仕事や勉強の労力も半減します。

詳細を見る
無断転載を禁じます:チーフAIシェアリングサークル " LiteLLM: 複数のビッグモデルAPIを統合的に呼び出すPython SDK、マルチプラットフォームLLM呼び出し・管理ツール

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語