Modèle de déploiement local Ollama Access Dify

Dify Soutien à l'accès Ollama Déploiement de capacités d'inférence et d'intégration de modèles linguistiques à grande échelle.

Accès rapide

1. Télécharger Ollama
   entretiens Installation et configuration d'OllamaPour plus d'informations, voir le tutoriel sur le déploiement local d'Ollama.
2. Faites courir l'Ollama et discutez avec le Llama

   ollama run llama3.1
   

   Après un démarrage réussi, ollama lance un service API sur le port local 11434, auquel il est possible d'accéder via la commande http://localhost:11434 Accès.
   D'autres modèles sont disponibles sur https://ollama.ai/library pour plus de détails.

3. Accéder à Ollama à Dify
   existent 设置 > 模型供应商 > Ollama Remplissez les blancs :
     
   • Nom du modèle :llama3.1
   • URL de base :http://<your-ollama-endpoint-domain>:11434
     L'adresse du service Ollama auquel il est possible d'accéder est requise ici.
     Si Dify est déployé en tant que docker, il est recommandé d'indiquer l'adresse IP du réseau local, par exemple :http://192.168.1.100:11434 ou l'adresse IP de l'hôte docker, par exemple :http://172.17.0.1:11434.

     Remarque : La commande Find LAN IP Address (Trouver l'adresse IP du réseau local) :

     • Sous Linux/macOS, utilisez la commande ip addr show peut-être ifconfig.
     • Sous Windows, utilisez la fonction ipconfig pour trouver des adresses similaires.
     • En général, cette adresse est affichée sous l'interface eth0 ou wlan0, selon que vous utilisez un réseau câblé ou sans fil.

     Si le déploiement se fait pour le code source local, remplir le champ http://localhost:11434.

   • Type de modèle :对话
   • Longueur du contexte du modèle :4096
     La longueur maximale du contexte du modèle, si elle n'est pas claire, vous pouvez utiliser la valeur par défaut 4096.
   • le plus grand jeton Cap :4096
     Le nombre maximal de tokens à renvoyer par le modèle pour le contenu, qui peut être cohérent avec la longueur du contexte du modèle s'il n'est pas spécifié autrement par le modèle.
   • Si Vision est pris en charge ou non :是
     Lorsque le modèle favorise la compréhension de l'image (multimodal), cochez cette case, par exemple llava.

   Cliquez sur "Enregistrer" pour vérifier que le modèle est correct et peut être utilisé dans votre application.
   Le modèle d'intégration est accessible de la même manière que le modèle LLM, en changeant le type de modèle en intégration de texte.

4. Utilisation du modèle Ollama
   
   Allez sur la page App Prompt Orchestration pour l'application que vous voulez configurer, et sélectionnez le fournisseur Ollama sous llama3.1 configurer les paramètres du modèle et l'utiliser.

FAQ

⚠️ Si vous utilisez Docker pour déployer Dify et Ollama, vous pouvez rencontrer l'erreur suivante.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

Cette erreur est due au fait que le conteneur Docker ne peut pas accéder au service Ollama. Le localhost fait généralement référence au conteneur lui-même, et non à l'hôte ou à d'autres conteneurs. Pour résoudre ce problème, vous devez exposer le service Ollama au réseau.

Définition des variables d'environnement sur un Mac

au cas où Ollama agir en tant que macOS est en cours d'exécution, la commande suivante doit être utilisée pour définir les variables d'environnementlaunchctl : :

1. Pour ce faire, il suffit d'appeler la fonction launchctl setenv Définition des variables d'environnement :

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Redémarrer l'application Ollama.
3. Si les étapes ci-dessus ne fonctionnent pas, vous pouvez utiliser la méthode suivante :
   Le problème est qu'à l'intérieur de Docker, vous devez vous connecter au serveur host.docker.internal pour accéder à l'hôte du docker, il faut donc définir l'option localhost Remplacer par host.docker.internal Le service est prêt à prendre effet :

   http://host.docker.internal:11434
   

Définition des variables d'environnement sous Linux

Si Ollama fonctionne en tant que service systemd, vous devez utiliser l'option systemctl Définition des variables d'environnement :

1. Pour ce faire, il suffit d'appeler la fonction systemctl edit ollama.service Modifiez le service systemd. Cela ouvrira un éditeur.
2. Pour chaque variable d'environnement, la fonction [Service] Ajouter une ligne sous la section Environment : :

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   

3. Sauvegarder et quitter.
4. charge lourde (sur un camion) systemd et de relancer Ollama :

   systemctl daemon-reload
   systemctl restart ollama
   

Définition des variables d'environnement sous Windows

Sous Windows, Ollama hérite des variables d'environnement de l'utilisateur et du système.

1. Tout d'abord, cliquez sur Ollama dans la barre des tâches pour quitter le programme.
2. Modifier les variables d'environnement du système à partir du panneau de contrôle
3. Modifiez ou créez de nouvelles variables pour votre compte d'utilisateur, telles que OLLAMA_HOST , OLLAMA_MODELS etc.
4. Cliquez sur OK/Appliquer pour enregistrer la demande
5. Exécuter dans une nouvelle fenêtre de terminal ollama

Comment exposer Ollama sur mon réseau ?

Ollama se lie par défaut au port 11434 sur 127.0.0.1. via la commande OLLAMA_HOST Les variables d'environnement modifient l'adresse de liaison.