올라마 로컬 배포 모델 액세스 Dify

1.5K 00

Dify 지원 액세스 Ollama 대규모 언어 모델 추론 및 임베딩 기능을 배포합니다.

빠른 액세스

올라마 다운로드
인터뷰 올라마 설치 및 구성자세한 내용은 올라마 로컬 배포 튜토리얼을 참조하세요.
올라마를 실행하고 라마와 채팅하기
```
ollama run llama3.1
```
시작에 성공하면 ollama는 로컬 포트 11434에서 API 서비스를 시작하며, 다음 링크를 통해 액세스할 수 있습니다. http://localhost:11434 액세스.
추가 모델에 대한 자세한 내용은 https://ollama.ai/library 에서 확인할 수 있습니다.
Dify에서 올라마에 액세스하기
존재 设置 > 模型供应商 > Ollama 빈칸을 채우세요:
- 모델 이름:llama3.1
- 기본 URL:http://<your-ollama-endpoint-domain>:11434
  여기에 액세스할 수 있는 올라마 서비스의 주소가 필요합니다.
  Dify가 도커 배포인 경우 LAN IP 주소를 입력하는 것이 좋습니다:http://192.168.1.100:11434 또는 도커 호스트 IP 주소를 입력합니다:http://172.17.0.1:11434.
  참고: LAN IP 주소 찾기 명령:
  - Linux/macOS에서는 다음 명령을 사용합니다. ip addr show 어쩌면 ifconfig.
  - Windows에서는 ipconfig 명령을 사용하여 유사한 주소를 찾을 수 있습니다.
  - 일반적으로 이 주소는 유선 또는 무선 네트워크 사용 여부에 따라 eth0 또는 wlan0 인터페이스 아래에 표시됩니다.
  로컬 소스 코드용으로 배포하는 경우, 로컬 소스 코드의 http://localhost:11434.
- 모델 유형:对话
- 모델 컨텍스트 길이:4096
  모델의 최대 컨텍스트 길이로, 명확하지 않은 경우 기본값인 4096을 입력할 수 있습니다.
- 가장 큰 토큰 Cap:4096
  모델에서 콘텐츠로 반환할 토큰의 최대 개수로, 모델에서 별도로 지정하지 않은 경우 모델 컨텍스트 길이와 일치할 수 있습니다.
- Vision 지원 여부:是
  모델이 그림 이해(멀티모달)를 지원하는 경우 이 확인란을 선택합니다. llava.
'저장'을 클릭하여 모델이 정확하고 애플리케이션에서 사용할 수 있는지 확인합니다.
임베딩 모델은 모델 유형을 텍스트 임베딩으로 변경하여 LLM과 유사한 방식으로 액세스할 수 있습니다.
올라마 모델 사용

구성하려는 앱의 앱 프롬프트 오케스트레이션 페이지로 이동하여 아래에서 Ollama 공급업체를 선택합니다. llama3.1 모델로 이동하여 모델 매개변수를 구성하고 사용합니다.

자주 묻는 질문

⚠️ Docker를 사용하여 Dify 및 Ollama를 배포하는 경우 다음 오류가 발생할 수 있습니다.

httpconnectionpool(host=127.0.0.1, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))
httpconnectionpool(host=localhost, port=11434): max retries exceeded with url:/cpi/chat (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8562812c20>: fail to establish a new connection:[Errno 111] Connection refused'))

이 오류는 Docker 컨테이너가 Ollama 서비스에 액세스할 수 없기 때문입니다. 로컬 호스트는 일반적으로 호스트나 다른 컨테이너가 아닌 컨테이너 자체를 가리킵니다. 이 문제를 해결하려면 Ollama 서비스를 네트워크에 노출해야 합니다.

Mac에서 환경 변수 설정하기

다음과 같은 경우 Ollama 역할 macOS 애플리케이션이 실행 중이라면 다음 명령을 사용하여 환경 변수를 설정해야 합니다.launchctl ::

전화하여 launchctl setenv 환경 변수 설정하기:
```
launchctl setenv OLLAMA_HOST "0.0.0.0"
```
올라마 애플리케이션을 다시 시작합니다.
위의 단계가 작동하지 않는 경우 다음 방법을 사용할 수 있습니다:
문제는 도커 내부에 있는 host.docker.internal 를 사용하여 도커의 호스트에 액세스할 수 있으므로 localhost 다음으로 교체 host.docker.internal 서비스를 적용할 준비가 되었습니다:
```
http://host.docker.internal:11434
```

Linux에서 환경 변수 설정

올라마가 시스템 서비스로 실행되는 경우, 시스템 서비스에서 systemctl 환경 변수 설정하기:

전화하여 systemctl edit ollama.service 시스템 서비스 편집을 클릭합니다. 그러면 편집기가 열립니다.
각 환경 변수에 대해 [Service] 섹션 아래에 줄을 추가합니다. Environment ::
```
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
```
저장하고 종료합니다.
무거운 짐(트럭에 실은 경우) systemd 를 클릭하고 Ollama를 다시 시작합니다:
```
systemctl daemon-reload
systemctl restart ollama
```