AIパーソナル・ラーニング
と実践的なガイダンス
サイバーナイフ用ドローイングミラー

Ollamaローカル展開モデル アクセス Dify

ダイファイ サポート・アクセス オーラマ 大規模言語モデルの推論と埋め込み機能の展開。

 

クイックアクセス

  1. ダウンロード Ollama
    インタビュー Ollamaのインストールと設定詳しくは、Ollamaローカル・デプロイメント・チュートリアルをご覧ください。
  2. オラマを走らせ、ラマとチャットする
    复制复制复制复制复制复制复制
    复制
    ollama run llama3.1

    起動に成功すると、ollamaはローカルのポート11434でAPIサービスを開始する。 http://localhost:11434 アクセス
    詳細はhttps://ollama.ai/library。

  3. ディファイでOllamaにアクセスする
    ある 設定 > モデルサプライヤー > Ollama 空欄を埋めてください:
    Ollamaローカル展開モデル アクセス Dify-1 Ollamaローカル展開モデル アクセス Dify-2 Ollamaローカル展開モデル アクセス Dify-3

    • モデル名ラマ3.1
    • ベースURL:http://:11434。
      ここにアクセスできるOllamaサービスのアドレスが必要です。
      Difyをドッカーとしてデプロイする場合は、LANのIPアドレスなどを記入することをお勧めします:http://192.168.1.100:11434 または docker ホストの IP アドレスなど:http://172.17.0.1:11434.

      注:Find LAN IP Addressコマンド:

      • Linux/macOSでは、以下のコマンドを使用する。 ip addr show もしかしたら イフコンフィグ.
      • Windowsでは アイピーコンフィグ コマンドで類似のアドレスを見つけることができる。
      • 通常、このアドレスは、有線ネットワークか無線ネットワークかによって、eth0またはwlan0インターフェイスの下に表示されます。

      ローカル・ソース・コード用にデプロイする場合は、以下のように入力します。 http://localhost:11434.

    • モデル・タイプ対話
    • モデルコンテキストの長さ:4096
      モデルのコンテキストの最大長を指定します。不明な場合は、デフォルト値の4096を入力してください。
    • 最大 トークン キャップ4096
      モデルがコンテンツとして返すトークンの最大数。モデルによって特に指定されていない場合は、モデルのコンテキストの長さと一致する可能性があります。
    • Visionがサポートされているかどうか:であります
      モデルが画像理解(マルチモーダル)をサポートする場合、このボックスにチェックを入れる。 リャバ.

    Save "をクリックして、モデルが正しく、アプリケーションで使用できることを確認します。
    Embeddingモデルは、LLMと同様に、モデルタイプをText Embeddingに変更してアクセスする。

  4. オッラマ・モデルの使用
    Ollamaローカル展開モデル アクセス Dify-4
    設定したいアプリの App Prompt Orchestration ページに移動し、Ollama プロバイダを以下の項目で選択します。 ラマ3.1 モデルのパラメータを設定し、それを使用する。

 

よくあるご質問

⚠️ Dockerを使用してDifyとOllamaをデプロイしている場合、以下のエラーが発生する可能性があります。

复制复制复制复制复制复制
复制
httpconnectionpool(host=127.0.0.1, port=11434): url:/cpi/chat で最大再試行回数を超えました (NewConnectionError(': 新しい接続の確立に失敗しました:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): url:/cpi/chat で最大再試行回数を超えました (NewConnectionError(': 新しい接続の確立に失敗しました:[Errno 111] Connection refused'))

このエラーは、DockerコンテナがOllamaサービスにアクセスできないためです。 localhostは通常、ホストや他のコンテナではなく、コンテナ自身を指します。この問題を解決するには、Ollamaサービスをネットワークに公開する必要があります。

Macで環境変数を設定する

万が一 オーラマ する マックオス アプリケーションを実行している場合は、以下のコマンドで環境変数を設定する。ローンチセクタ ::

  1. これは launchctl setenv 環境変数の設定:
    复制复制复制复制复制
    复制
    launchctl setenv OLLAMA_HOST "0.0.0.0"
  2. Ollamaアプリケーションを再起動します。
  3. 上記の手順でうまくいかない場合は、以下の方法を使うことができる:
    問題は、ドッカー内で host.docker.internal ドッカーのホストにアクセスするために ローカルホスト と置き換える。 host.docker.internal サービス開始の準備が整いました:

    复制复制复制复制
    复制
    http://host.docker.internal:11434

Linuxで環境変数を設定する

Ollamaがsystemdサービスとして動作している場合は、次のようにします。 システムctl 環境変数の設定:

  1. これは systemctl ollama.serviceを編集する systemdサービスを編集する。エディターが開きます。
  2. 各環境変数に対して [サービス] セクションの下に 環境 ::
    复制复制复制
    复制
    [サービス]
    環境="OLLAMA_HOST=0.0.0.0"
  3. 保存して終了する。
  4. におも システムディー そしてオラマを再起動させる:
    复制复制
    复制
    systemctl デーモン再ロード
    ollama を再起動する

Windowsで環境変数を設定する

Windowsでは、Ollamaはあなたのユーザー環境変数とシステム環境変数を継承します。

  1. まず、タスクバーのOllamaをクリックしてプログラムを終了する。
  2. コントロールパネルからシステム環境変数を編集する
  3. 以下のようなユーザーアカウントの変数を編集または新規作成します。 OLLAMA_HOST そして OLLAMA_MODELS その他
  4. OK/Applyをクリックしてアプリケーションを保存する
  5. 新しいターミナルウィンドウで実行する オラマ

自分のネットワークにOllamaを公開するにはどうすればよいですか?

Ollamaはデフォルトで127.0.0.1のポート11434にバインドする。 OLLAMA_HOST 環境変数はバインディングアドレスを変更する。


シーディーエヌワン
無断転載を禁じます:チーフAIシェアリングサークル " Ollamaローカル展開モデル アクセス Dify

チーフAIシェアリングサークル

チーフAIシェアリングサークルは、AI学習に焦点を当て、包括的なAI学習コンテンツ、AIツール、実践指導を提供しています。私たちの目標は、高品質のコンテンツと実践的な経験の共有を通じて、ユーザーがAI技術を習得し、AIの無限の可能性を一緒に探求することです。AI初心者でも上級者でも、知識を得てスキルを向上させ、イノベーションを実現するための理想的な場所です。

お問い合わせ
ja日本語