Модель локального развертывания Ollama Access Dify

Dify Поддержка доступа Оллама Развертывание крупномасштабных возможностей вывода и встраивания языковых моделей.

Быстрый доступ

1. Скачать Оллама
   интервью Установка и настройка OllamaДля получения дополнительной информации см. учебник по локальному развертыванию Ollama.
2. Управляйте Олламой и общайтесь с Лламой

   ollama run llama3.1
   

   После успешного запуска ollama запускает API-сервис на локальном порту 11434, доступ к которому можно получить через http://localhost:11434 Доступ.
   Дополнительные модели доступны на сайте https://ollama.ai/library.

3. Доступ к Ollama в Dify
   существовать 设置 > 模型供应商 > Ollama Заполните пропуски:
     
   • Название модели:llama3.1
   • Базовый URL:http://<your-ollama-endpoint-domain>:11434
     Адрес службы Ollama, к которой можно обратиться, находится здесь.
     Если Dify - это развертывание докера, рекомендуется заполнить IP-адрес локальной сети, например:http://192.168.1.100:11434 или, например, IP-адрес хоста докера:http://172.17.0.1:11434.

     Примечание: Команда Найти IP-адрес локальной сети:

     • В Linux/macOS используйте команду ip addr show возможно ifconfig.
     • В Windows используйте ipconfig команда для поиска похожих адресов.
     • Обычно этот адрес отображается в интерфейсе eth0 или wlan0, в зависимости от того, используете ли вы проводную или беспроводную сеть.

     Если развертывание выполняется для локального исходного кода, заполните http://localhost:11434.

   • Тип модели:对话
   • Длина контекста модели:4096
     Максимальная длина контекста модели, если не понятно, можете заполнить значение по умолчанию 4096.
   • величайший жетон Кап:4096
     Максимальное количество лексем для содержимого, возвращаемого моделью, которое может соответствовать длине контекста модели, если модель не указывает иное.
   • Поддерживается ли функция Vision или нет:是
     Если модель поддерживает понимание картинки (мультимодальная), отметьте это поле, например llava.

   Нажмите "Сохранить", чтобы убедиться, что модель корректна и может быть использована в вашем приложении.
   Доступ к модели Embedding осуществляется аналогично LLM, путем изменения типа модели на Text Embedding.

4. Использование модели Олламы
   
   Перейдите на страницу App Prompt Orchestration для приложения, которое вы хотите настроить, и выберите поставщика Ollama в разделе llama3.1 модель, настройте параметры модели и используйте ее.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

⚠️ Если вы используете Docker для развертывания Dify и Ollama, вы можете столкнуться со следующей ошибкой.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

Эта ошибка связана с тем, что контейнер Docker не может получить доступ к службе Ollama. Под localhost обычно подразумевается сам контейнер, а не хост или другие контейнеры. Чтобы решить эту проблему, необходимо открыть доступ к службе Ollama в сети.

Настройка переменных окружения на Mac

в случае, если Ollama действовать как macOS приложение запущено, то для установки переменных окружения следует использовать следующую командуlaunchctl ::

1. Это достигается путем вызова launchctl setenv Установка переменных окружения:

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   

2. Перезапустите приложение Ollama.
3. Если описанные выше действия не помогли, можно воспользоваться следующим способом:
   Проблема в том, что внутри докера вы должны подключиться к host.docker.internal для доступа к хосту докера, поэтому установите localhost Заменить на host.docker.internal Сервис готов к работе:

   http://host.docker.internal:11434
   

Установка переменных окружения в Linux

Если Ollama работает как служба systemd, вам следует использовать systemctl Установка переменных окружения:

1. Это достигается путем вызова systemctl edit ollama.service Отредактируйте службу systemd. Откроется редактор.
2. Для каждой переменной окружения [Service] Добавьте строку под разделом Environment ::

   [Service]
   Environment="OLLAMA_HOST=0.0.0.0"
   

3. Сохраните и выйдите.
4. тяжелый груз (на грузовике) systemd и перезапустить Олламу:

   systemctl daemon-reload
   systemctl restart ollama
   

Установка переменных окружения в Windows

В Windows Ollama наследует переменные окружения пользователя и системы.

1. Во-первых, щелкните на Ollama на панели задач, чтобы выйти из программы.
2. Редактирование переменных системного окружения с панели управления
3. Отредактируйте или создайте новые переменные для вашей учетной записи пользователя, например OLLAMA_HOST , и OLLAMA_MODELS и т.д.
4. Нажмите OK/Apply, чтобы сохранить приложение
5. Запустите в новом окне терминала ollama

Как разместить Ollama в своей сети?

По умолчанию Ollama привязывается к порту 11434 на 127.0.0.1. OLLAMA_HOST Переменные окружения изменяют адрес привязки.