Modelo de implantação local Ollama Access Dify

Dify Acesso ao suporte Ollama Implementação de recursos de inferência e incorporação de modelos de linguagem em larga escala.

Acesso rápido

1. Baixar Ollama
   entrevistas Instalação e configuração do OllamaPara obter mais informações, consulte o Tutorial de implantação local do Ollama.
2. Corra com Ollama e converse com Llama

   ollama run llama3.1
   

   Após a inicialização bem-sucedida, o ollama inicia um serviço de API na porta local 11434, que pode ser acessado por meio do comando http://localhost:11434 Acesso.
   Outros modelos estão disponíveis em https://ollama.ai/library para obter detalhes.

3. Acesso ao Ollama em Dify
   existir 设置 > 模型供应商 > Ollama Preencha os espaços em branco:
     
   • Nome do modelo:llama3.1
   • URL de base:http://<your-ollama-endpoint-domain>:11434
     O endereço do serviço Ollama que pode ser acessado é necessário aqui.
     Se a Dify for implantada como uma doca, é recomendável preencher o endereço IP da LAN, por exemplo:http://192.168.1.100:11434 ou o endereço IP do host da estação, por exemplo:http://172.17.0.1:11434.

     Observação: O comando Localizar endereço IP da LAN:

     • No Linux/macOS, use o comando ip addr show talvez ifconfig.
     • No Windows, use a opção ipconfig para encontrar endereços semelhantes.
     • Normalmente, esse endereço é exibido na interface eth0 ou wlan0, dependendo do fato de você estar usando uma rede com ou sem fio.

     Se for implantado para o código-fonte local, preencha o campo http://localhost:11434.

   • Tipo de modelo:对话
   • Comprimento do contexto do modelo:4096
     O comprimento máximo do contexto do modelo; se não estiver claro, você pode preencher com o valor padrão 4096.
   • maior token Boné:4096
     O número máximo de tokens a ser retornado pelo modelo como conteúdo, que pode ser consistente com o comprimento do contexto do modelo, se não for especificado de outra forma pelo modelo.
   • Se o Vision é ou não compatível:是
     Quando o modelo oferece suporte à compreensão de imagens (multimodal), marque essa caixa, por exemplo llava.

   Clique em "Save" (Salvar) para verificar se o modelo está correto e pode ser usado em seu aplicativo.
   O modelo Embedding é acessado de forma semelhante ao LLM, alterando o tipo de modelo para Text Embedding.

4. Usando o modelo Ollama
   
   Vá para a página App Prompt Orchestration do aplicativo que você deseja configurar e selecione o provedor Ollama na seção llama3.1 configure os parâmetros do modelo e use-o.

PERGUNTAS FREQUENTES

⚠️ Se estiver usando o Docker para implantar o Dify e o Ollama, você poderá encontrar o seguinte erro.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

Esse erro ocorre porque o contêiner do Docker não consegue acessar o serviço Ollama. O localhost geralmente se refere ao próprio contêiner, não ao host ou a outros contêineres. Para resolver esse problema, você precisa expor o serviço Ollama à rede.

Definição de variáveis de ambiente em um Mac

no caso de Ollama atuar como macOS estiver em execução, o seguinte comando deve ser usado para definir as variáveis de ambientelaunchctl ::

1. Isso é feito chamando o launchctl setenv Configuração de variáveis de ambiente:

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Reinicie o aplicativo Ollama.
3. Se as etapas acima não funcionarem, você pode usar o seguinte método:
   O problema é que, dentro do docker, você deve se conectar ao host.docker.internal para acessar o host da estação, portanto, defina o localhost Substituir por host.docker.internal O serviço está pronto para entrar em vigor:

   http://host.docker.internal:11434
   

Configuração de variáveis de ambiente no Linux

Se o Ollama estiver sendo executado como um serviço systemd, você deverá usar o comando systemctl Configuração de variáveis de ambiente:

1. Isso é feito chamando o systemctl edit ollama.service Edite o serviço systemd. Isso abrirá um editor.
2. Para cada variável de ambiente, a variável [Service] Adicione uma linha abaixo da seção Environment ::

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   

3. Salvar e sair.
4. carga pesada (em um caminhão) systemd e reiniciar o Ollama:

   systemctl daemon-reload
   systemctl restart ollama
   

Configuração de variáveis de ambiente no Windows

No Windows, o Ollama herda as variáveis de ambiente do usuário e do sistema.

1. Em primeiro lugar, clique em Ollama na barra de tarefas para sair do programa.
2. Edite as variáveis de ambiente do sistema no painel de controle
3. Edite ou crie novas variáveis para sua conta de usuário, como OLLAMA_HOST e OLLAMA_MODELS etc.
4. Clique em OK/Apply para salvar o aplicativo
5. Executar em uma nova janela de terminal ollama

Como faço para expor o Ollama em minha rede?

O Ollama se vincula à porta 11434 em 127.0.0.1 por padrão. OLLAMA_HOST As variáveis de ambiente alteram o endereço de vinculação.