ダイファイ サポート・アクセス オーラマ 大規模言語モデルの推論と埋め込み機能の展開。
クイックアクセス
- ダウンロード Ollama
インタビュー Ollamaのインストールと設定詳しくは、Ollamaローカル・デプロイメント・チュートリアルをご覧ください。 - オラマを走らせ、ラマとチャットする
复制复制复制复制复制复制复制复制
ollama run llama3.1
起動に成功すると、ollamaはローカルのポート11434でAPIサービスを開始する。
http://localhost:11434
アクセス
詳細はhttps://ollama.ai/library。 - ディファイでOllamaにアクセスする
ある設定 > モデルサプライヤー > Ollama
空欄を埋めてください:
- モデル名
ラマ3.1
- ベースURL:
http://:11434。
ここにアクセスできるOllamaサービスのアドレスが必要です。
Difyをドッカーとしてデプロイする場合は、LANのIPアドレスなどを記入することをお勧めします:http://192.168.1.100:11434
または docker ホストの IP アドレスなど:http://172.17.0.1:11434
.注:Find LAN IP Addressコマンド:
- Linux/macOSでは、以下のコマンドを使用する。
ip addr show
もしかしたらイフコンフィグ
. - Windowsでは
アイピーコンフィグ
コマンドで類似のアドレスを見つけることができる。 - 通常、このアドレスは、有線ネットワークか無線ネットワークかによって、eth0またはwlan0インターフェイスの下に表示されます。
ローカル・ソース・コード用にデプロイする場合は、以下のように入力します。
http://localhost:11434
. - Linux/macOSでは、以下のコマンドを使用する。
- モデル・タイプ
対話
- モデルコンテキストの長さ:
4096
モデルのコンテキストの最大長を指定します。不明な場合は、デフォルト値の4096を入力してください。 - 最大 トークン キャップ
4096
モデルがコンテンツとして返すトークンの最大数。モデルによって特に指定されていない場合は、モデルのコンテキストの長さと一致する可能性があります。 - Visionがサポートされているかどうか:
であります
モデルが画像理解(マルチモーダル)をサポートする場合、このボックスにチェックを入れる。リャバ
.
Save "をクリックして、モデルが正しく、アプリケーションで使用できることを確認します。
Embeddingモデルは、LLMと同様に、モデルタイプをText Embeddingに変更してアクセスする。 - モデル名
- オッラマ・モデルの使用
設定したいアプリの App Prompt Orchestration ページに移動し、Ollama プロバイダを以下の項目で選択します。ラマ3.1
モデルのパラメータを設定し、それを使用する。
よくあるご質問
⚠️ Dockerを使用してDifyとOllamaをデプロイしている場合、以下のエラーが発生する可能性があります。
httpconnectionpool(host=127.0.0.1, port=11434): url:/cpi/chat で最大再試行回数を超えました (NewConnectionError(': 新しい接続の確立に失敗しました:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): url:/cpi/chat で最大再試行回数を超えました (NewConnectionError(': 新しい接続の確立に失敗しました:[Errno 111] Connection refused'))
このエラーは、DockerコンテナがOllamaサービスにアクセスできないためです。 localhostは通常、ホストや他のコンテナではなく、コンテナ自身を指します。この問題を解決するには、Ollamaサービスをネットワークに公開する必要があります。
Macで環境変数を設定する
万が一 オーラマ
する マックオス
アプリケーションを実行している場合は、以下のコマンドで環境変数を設定する。ローンチセクタ
::
- これは
launchctl setenv
環境変数の設定:复制复制复制复制复制复制launchctl setenv OLLAMA_HOST "0.0.0.0"
- Ollamaアプリケーションを再起動します。
- 上記の手順でうまくいかない場合は、以下の方法を使うことができる:
問題は、ドッカー内でhost.docker.internal
ドッカーのホストにアクセスするためにローカルホスト
と置き換える。host.docker.internal
サービス開始の準備が整いました:复制复制复制复制复制http://host.docker.internal:11434
Linuxで環境変数を設定する
Ollamaがsystemdサービスとして動作している場合は、次のようにします。 システムctl
環境変数の設定:
- これは
systemctl ollama.serviceを編集する
systemdサービスを編集する。エディターが開きます。 - 各環境変数に対して
[サービス]
セクションの下に環境
::复制复制复制复制[サービス] 環境="OLLAMA_HOST=0.0.0.0"
- 保存して終了する。
- におも
システムディー
そしてオラマを再起動させる:复制复制复制systemctl デーモン再ロード ollama を再起動する
Windowsで環境変数を設定する
Windowsでは、Ollamaはあなたのユーザー環境変数とシステム環境変数を継承します。
- まず、タスクバーのOllamaをクリックしてプログラムを終了する。
- コントロールパネルからシステム環境変数を編集する
- 以下のようなユーザーアカウントの変数を編集または新規作成します。
OLLAMA_HOST
そしてOLLAMA_MODELS
その他 - OK/Applyをクリックしてアプリケーションを保存する
- 新しいターミナルウィンドウで実行する
オラマ
自分のネットワークにOllamaを公開するにはどうすればよいですか?
Ollamaはデフォルトで127.0.0.1のポート11434にバインドする。 OLLAMA_HOST
環境変数はバインディングアドレスを変更する。