Modelo de despliegue local Ollama Acceso Dify

Dify Apoyo al acceso Ollama Despliegue de capacidades de inferencia e incrustación de modelos lingüísticos a gran escala.

Acceso rápido

1. Descargar Ollama
   entrevistas Instalación y configuración de OllamaPara más información, consulte el Tutorial de despliegue local de Ollama.
2. Corre Ollama y chatea con Llama

   ollama run llama3.1
   

   Tras iniciarse correctamente, ollama inicia un servicio API en el puerto local 11434, al que se puede acceder mediante el comando http://localhost:11434 Acceso.
   Para más información sobre otros modelos, visite https://ollama.ai/library.

3. Acceso a Ollama en Dify
   existe 设置 > 模型供应商 > Ollama Rellena los espacios en blanco:
     
   • Nombre del modelo:llama3.1
   • URL base:http://<your-ollama-endpoint-domain>:11434
     Aquí se solicita la dirección del servicio Ollama al que se puede acceder.
     Si Dify es un despliegue docker, se recomienda rellenar la dirección IP de la LAN, por ejemplo:http://192.168.1.100:11434 o la dirección IP del host docker, por ejemplo:http://172.17.0.1:11434.

     Nota: El comando Buscar dirección IP de LAN:

     • En Linux/macOS, utilice el comando ip addr show tal vez ifconfig.
     • En Windows, utilice la función ipconfig para encontrar direcciones similares.
     • Normalmente, esta dirección se muestra en la interfaz eth0 o wlan0, dependiendo de si está utilizando una red cableada o inalámbrica.

     Si se despliega para código fuente local, rellene el campo http://localhost:11434.

   • Tipo de modelo:对话
   • Longitud del contexto del modelo:4096
     La longitud máxima del contexto del modelo, si no está claro puede rellenar el valor por defecto 4096.
   • mayor ficha Cap:4096
     El número máximo de tokens que debe devolver el modelo como contenido, que puede ser coherente con la longitud del contexto del modelo si éste no especifica otra cosa.
   • Si se admite o no Visión:是
     Si el modelo permite la comprensión de imágenes (multimodal), marque esta casilla, por ejemplo llava.

   Haga clic en "Guardar" para comprobar que el modelo es correcto y puede utilizarse en su aplicación.
   Al modelo de incrustación se accede de forma similar a LLM, cambiando el tipo de modelo a Incrustación de texto.

4. Utilización del modelo Ollama
   
   Vaya a la página App Prompt Orchestration de la aplicación que desea configurar y seleccione el proveedor Ollama en el campo llama3.1 configurar los parámetros del modelo y utilizarlo.

PREGUNTAS FRECUENTES

⚠️ Si está utilizando Docker para desplegar Dify y Ollama, puede encontrarse con el siguiente error.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

Este error se debe a que el contenedor Docker no puede acceder al servicio Ollama. El localhost suele referirse al propio contenedor, no al host ni a otros contenedores. Para resolver este problema, es necesario exponer el servicio Ollama a la red.

Configuración de variables de entorno en un Mac

en caso de que Ollama actuar como macOS se debe utilizar el siguiente comando para establecer las variables de entornolaunchctl ::

1. Esto se consigue llamando a la función launchctl setenv Configuración de variables de entorno:

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Reinicie la aplicación Ollama.
3. Si los pasos anteriores no funcionan, puede utilizar el siguiente método:
   El problema es que dentro de docker, debe conectarse a la host.docker.internal para acceder al host del docker, así que configure la directiva localhost Sustituir por host.docker.internal El servicio está listo para entrar en vigor:

   http://host.docker.internal:11434
   

Establecer variables de entorno en Linux

Si Ollama se ejecuta como un servicio systemd, debe utilizar el comando systemctl Configuración de variables de entorno:

1. Esto se consigue llamando a la función systemctl edit ollama.service Edita el servicio systemd. Esto abrirá un editor.
2. Para cada variable de entorno, el [Service] Añada una línea debajo de la sección Environment ::

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   

3. Guardar y salir.
4. carga pesada (en un camión) systemd y reiniciar Ollama:

   systemctl daemon-reload
   systemctl restart ollama
   

Configuración de variables de entorno en Windows

En Windows, Ollama hereda las variables de entorno del usuario y del sistema.

1. En primer lugar, haga clic en Ollama en la barra de tareas para salir del programa.
2. Editar las variables de entorno del sistema desde el panel de control
3. Edite o cree nuevas variables para su cuenta de usuario, tales como OLLAMA_HOST y OLLAMA_MODELS etc.
4. Haga clic en Aceptar/Aplicar para guardar la solicitud
5. Ejecutar en una nueva ventana de terminal ollama

¿Cómo expongo Ollama en mi red?

Ollama se enlaza al puerto 11434 en 127.0.0.1 por defecto. a través de la etiqueta OLLAMA_HOST Las variables de entorno modifican la dirección de enlace.