Ollama 설치 및 구성 - 도커 문서

개요

이 섹션에서는 Docker Ollama 설치 및 구성

Docker는 이미지를 기반으로 하는 가상화된 컨테이너 기술로, 몇 초 만에 다양한 컨테이너를 시작할 수 있습니다. 이러한 각 컨테이너는 컨테이너 간의 격리를 가능하게 하는 완전한 런타임 환경입니다.

올라마 다운로드: https://ollama.com/download

올라마 공식 홈페이지: https://ollama.com

올라마 공식 GitHub 소스 코드 리포지토리: https://github.com/ollama/ollama/

공식 도커 설치 튜토리얼: https://hub.docker.com/r/ollama/ollama

I. 올라마 거울 당기기

작성자는 미리 Windows에서 도커를 다운로드했습니다 👉.도커 설치 공식 웹사이트 다운로드

방법 1: 시각화 인터페이스에서 Docker 소프트웨어 검색 및 다운로드

방법 2: 공식 웹사이트에서는 다음 명령을 사용하여 다운로드 이미지를 직접 가져올 것을 권장하며, 이 프로젝트는 CPU에서만 실행할 수 있습니다.

# CPU 或者 Nvidia GPU 
docker pull ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm

참고: 독자가 런타임 환경을 지정하는 특정 버전의 이미지를 사용하려는 경우 다음 명령을 사용할 수 있습니다.

# CPU 或 Nvidia GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0
# AMD GPU下载ollama 0.3.0
docker pull ollama/ollama:0.3.0-rocm

II. 올라마 이미지 실행

방법 1: Docker가 시각적 인터페이스에서 이미지를 실행합니다.

• 다운로드가 완료되면, 다운로드가 완료되면 Images정곡을 찌르세요 Ollama 미러, 클릭 run 실행하기 전에 선택적 설정 팝업에서 포트 번호(예: 8089)를 선택합니다.

• 존재 Containers 에서 이미지를 찾습니다. OLLM 올라마 인터페이스에 액세스

• 에서 설치가 완료되었는지 확인합니다. Exec 에 입력합니다:

ollama -h

출력은 다음과 같습니다: 설치가 성공했음을 의미합니다🎉.

Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve       Start ollama
create      Create a model from a Modelfile
show        Show information for a model
run         Run a model
pull        Pull a model from a registry
push        Push a model to a registry
list        List models
ps          List running models
cp          Copy a model
rm          Remove a model
help        Help about any command
Flags:
-h, --help      help for ollama
-v, --version   Show version information

• 터미널 사용 Ollama.

다음은 올라마에서 자주 사용하는 명령어입니다:

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息

라이브러리 (ollama.com) Ollama의 모델 라이브러리에서 원하는 모델을 검색하여 바로 실행하세요!

ollama run llama3

다운로드 속도는 대역폭에 따라 다르며 바로 사용할 수 있습니다. control + D 채팅 종료

방법 2: 명령줄 시작

• CPU 버전:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama