Установка и настройка Ollama - система Linux

краткое содержание

В этом разделе вы узнаете, как завершить Оллама установка и настройка, а также обновление Ollama, установка определенных версий, просмотр журналов и удаление.

I. Быстрая установка

Ollama Скачать: https://ollama.com/download

Официальная домашняя страница Ollama: https://ollama.com

Официальный репозиторий исходного кода Ollama на GitHub: https://github.com/ollama/ollama/

На официальном сайте есть возможность быстрой установки из командной строки.

curl -fsSL https://ollama.com/install.sh | sh

Эта команда автоматически загрузит последнюю версию Ollama и завершит установку. Ниже перечислены распространенные команды, используемые Ollama:

ollama serve         #启动ollama
ollama create        #从模型文件创建模型
ollama show          #显示模型信息
ollama run           #运行模型
ollama pull          #从注册表中拉取模型
ollama push          #将模型推送到注册表
ollama list          #列出模型
ollama cp            #复制模型
ollama rm            #删除模型
ollama help          #获取有关任何命令的帮助信息

• Убедитесь, что установка завершена, в окне Exec Войти по адресу:

ollama -h

Вывод следующий: это означает, что установка прошла успешно🎉.

• Включение и использование Ollama

Сначала откройте Ollama в терминале и повесьте ее в фоновом режиме

ollama serve

библиотека (ollama.com)Здесь находится библиотека моделей Ollama, найдите нужную вам модель, откройте новый терминал и начинайте!

ollama run llama3

Скорость загрузки зависит от пропускной способности вашего канала и готова к использованию ✌ Не забудьте использовать control + D Выход из чата

II. Ручная установка

Примечание: Если ранее была установлена более старая версия ollama, вам придется удалить ее вручную.sudo rm -rf /usr/lib/ollama Дополнительные требования 👉Ссылкиофициальный сайт

2.1 Загрузите и извлеките установочный пакет, соответствующий вашей операционной системе.

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

ГРАФИЧЕСКИЙ ПРОЦЕССОР AMDСкачать:

curl -L https://ollama.com/download/ollama-linux-amd64-rocm.tgz -o ollama-linux-amd64-rocm.tgz
sudo tar -C /usr -xzf ollama-linux-amd64-rocm.tgz

ARM 64Скачать:

curl -L https://ollama.com/download/ollama-linux-arm64.tgz -o ollama-linux-arm64.tgz
sudo tar -C /usr -xzf ollama-linux-arm64.tgz

2.2 Запустите Ollama и проверьте

Введите следующую команду, чтобы запустить Ollama:

ollama serve

Убедитесь, что ollama успешно запущена, открыв другой терминал и введя следующую команду

ollama -v

2.3 Добавление Ollama в качестве самозапускающейся службы (рекомендуется)

Сначала создайте пользователей и группы для Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Тогда в таком положении:/etc/systemd/system/ollama.service Создание служебного файла

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
[Install]
WantedBy=default.target

Наконец запустите службу:

sudo systemctl daemon-reload
sudo systemctl enable ollama

III. Обновления

Чтобы обновить Ollama, снова запустите предыдущую операцию установки:

curl -fsSL https://ollama.com/install.sh | sh

Или заново загрузите последнюю версию пакета Ollama:

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

IV. Установка определенных версий

устанавливать OLLAMA_VERSIONПоля, вы можете установить соответствующую версию

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

V. Просмотр журнала

Просмотрите журналы Ollama, запущенной в качестве стартовой службы:

journalctl -e -u ollama

VI. Деинсталляция

• Удалите службу Ollama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

• Удалите двоичные файлы Ollama из каталога bin: /usr/local/bin ,/usr/bin ,/bin

sudo rm $(which ollama)

• Удаление загруженных моделей и пользователей и групп службы Ollama:

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

• Удаление загруженных файлов библиотеки

sudo rm -rf /usr/local/lib/ollama