Ollama Local Deployment Model Access Dify

Dify Unterstützung Zugang Ollama Einsatz umfangreicher Sprachmodellinferenz- und Einbettungsfunktionen.

Schneller Zugang

1. Ollama herunterladen
   Interviews Ollama Installation und KonfigurationWeitere Informationen finden Sie im Ollama Local Deployment Tutorial.
2. Ollama laufen lassen und mit Llama chatten

   ollama run llama3.1
   

   Nach erfolgreichem Start startet ollama einen API-Dienst auf dem lokalen Port 11434, der über die http://localhost:11434 Zugang.
   Weitere Modelle sind unter https://ollama.ai/library erhältlich.

3. Zugang zu Ollama in Dify
   existieren Einstellungen > Modellanbieter > Ollama Füllen Sie die Lücken aus:
     
   • Modellname:Lama3.1
   • Basis-URL:http://:11434
     Die Adresse des Ollama-Dienstes, auf den zugegriffen werden kann, wird hier benötigt.
     Wenn Dify als Docker eingesetzt wird, empfiehlt es sich, z.B. die LAN-IP-Adresse einzutragen:http://192.168.1.100:11434 oder z. B. die IP-Adresse des Docker-Hosts:http://172.17.0.1:11434.

     Hinweis: Der Befehl LAN-IP-Adresse suchen:

     • Unter Linux/macOS verwenden Sie den Befehl ip adr show vielleicht ifconfig.
     • Unter Windows verwenden Sie die ipconfig Befehl, um ähnliche Adressen zu finden.
     • Normalerweise wird diese Adresse unter der Schnittstelle eth0 oder wlan0 angezeigt, je nachdem, ob Sie ein kabelgebundenes oder drahtloses Netzwerk verwenden.

     Wenn Sie für lokalen Quellcode eingesetzt werden, füllen Sie das Feld http://localhost:11434.

   • Modell Typ:Dialoge
   • Modell Kontextlänge:4096
     Die maximale Kontextlänge des Modells, falls nicht klar, können Sie den Standardwert 4096 eingeben.
   • größte Token Kappe:4096
     Die maximale Anzahl von Token, die vom Modell als Inhalt zurückgegeben werden, die mit der Länge des Modellkontexts übereinstimmen kann, wenn das Modell nichts anderes angibt.
   • Ob Vision unterstützt wird oder nicht:sein
     Wenn das Modell das Verstehen von Bildern unterstützt (multimodal), kreuzen Sie dieses Feld an, z. B. Lava.

   Klicken Sie auf "Speichern", um zu überprüfen, ob das Modell korrekt ist und in Ihrer Anwendung verwendet werden kann.
   Der Zugriff auf das Einbettungsmodell erfolgt auf ähnliche Weise wie beim LLM, indem der Modelltyp auf Texteinbettung geändert wird.

4. Verwendung des Ollama-Modells
   
   Gehen Sie auf die Seite App Prompt Orchestration für die App, die Sie konfigurieren möchten, und wählen Sie den Ollama-Anbieter unter der Option Lama3.1 Modell, konfigurieren Sie die Modellparameter und verwenden Sie es.

FAQ

⚠️ Wenn Sie Docker für die Bereitstellung von Dify und Ollama verwenden, kann der folgende Fehler auftreten.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError(': Es konnte keine neue Verbindung hergestellt werden:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Verursacht durch NewConnectionError(': fail to establish a new connection:[Errno 111] Connection refused'))

Dieser Fehler tritt auf, weil der Docker-Container nicht auf den Ollama-Dienst zugreifen kann. Der localhost bezieht sich normalerweise auf den Container selbst, nicht auf den Host oder andere Container. Um dieses Problem zu beheben, müssen Sie den Ollama-Dienst für das Netzwerk freigeben.

Einstellen von Umgebungsvariablen auf einem Mac

für den Fall, dass Ollama handeln als macOS Anwendung läuft, sollte der folgende Befehl verwendet werden, um die Umgebungsvariablen zu setzenlaunchctl ::

1. Dies wird durch den Aufruf der Funktion launchctl setenv Setzen von Umgebungsvariablen:

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Starten Sie die Ollama-Anwendung neu.
3. Wenn die oben genannten Schritte nicht funktionieren, können Sie die folgende Methode anwenden:
   Das Problem ist, dass Sie sich innerhalb von Docker mit dem host.docker.internal um auf den Docker-Host zuzugreifen, setzen Sie also die localhost Ersetzen durch host.docker.internal Der Dienst ist nun einsatzbereit:

   http://host.docker.internal:11434
   

Setzen von Umgebungsvariablen unter Linux

Wenn Ollama als systemd-Dienst ausgeführt wird, sollten Sie die systemctl Setzen von Umgebungsvariablen:

1. Dies wird durch den Aufruf der Funktion systemctl edit ollama.service Bearbeiten Sie den systemd-Dienst. Dadurch wird ein Editor geöffnet.
2. Für jede Umgebungsvariable wird die [Service] Fügen Sie eine Zeile unter dem Abschnitt Umwelt ::

   [Dienst]
   Umgebung="OLLAMA_HOST=0.0.0.0"
   

3. Speichern und beenden.
4. schwere Ladung (auf einem Lastwagen) systemd und Ollama neu starten:

   systemctl daemon-reload
   systemctl neu starten ollama
   

Setzen von Umgebungsvariablen unter Windows

Unter Windows erbt Ollama Ihre Benutzer- und Systemumgebungsvariablen.

1. Klicken Sie zunächst auf Ollama in der Taskleiste, um das Programm zu beenden.
2. Systemumgebungsvariablen über die Systemsteuerung bearbeiten
3. Bearbeiten oder erstellen Sie neue Variablen für Ihr Benutzerkonto, z. B. OLLAMA_HOST , und OLLAMA_MODELLE usw.
4. Klicken Sie auf OK/Apply, um den Antrag zu speichern.
5. In einem neuen Terminalfenster ausführen ollama

Wie stelle ich Ollama in meinem Netzwerk zur Verfügung?

Ollama bindet sich standardmäßig an Port 11434 auf 127.0.0.1. über die OLLAMA_HOST Umgebungsvariablen ändern die Bindungsadresse.