Установка и настройка Ollama - системы Windows

Практические уроки по искусственному интеллектуОпубликовано 6 месяцев назад Круг обмена ИИ

8.5K 00

краткое содержание

В этом разделе вы узнаете, как это сделать в системе Windows. Оллама Установка и настройка разделены на следующие разделы.

Посетите официальный сайт, чтобы завершить загрузку напрямую
Конфигурация переменной окружения
Беги Оллама
Проверьте успешность установки 🎉

I. Посетите официальный сайт, чтобы завершить загрузку напрямую

Посетите официальную домашнюю страницу
Ollama Скачать: https://ollama.com/download
Официальная домашняя страница Ollama: https://ollama.com
Официальный репозиторий исходного кода Ollama на GitHub: https://github.com/ollama/ollama/
Подождите, пока ваш браузер загрузит файл OllamaSetup.exe, после завершения загрузки дважды щелкните по файлу, появится следующее всплывающее окно, нажмите кнопку Install Просто дождитесь окончания загрузки.
После завершения установки вы увидите, что Ollama уже запущена по умолчанию. Вы можете найти логотип Ollama в нижней навигационной панели и щелкнуть на нем правой кнопкой мыши. Quit Ollama Выйти из Олламы или посмотреть logs.

II. Настройка переменных окружения

ОлламаOllama может быть установлена на ваш компьютер одним щелчком мыши, как и любое другое программное обеспечение, но рекомендуется настроить переменные окружения системы в соответствии с вашими реальными потребностями. Ниже приведены инструкции по настройке переменных окружения для Ollama.

параметры	Маркировка и конфигурация
OLLAMA_MODELS	Указывает каталог, в котором хранятся файлы модели, по умолчанию это каталогТекущий каталог пользователяпредположить (офис)`C:\Users%username%.ollama\models`Система Windows Не рекомендуется размещать его на диске C. Диски можно помещать на другие диски (например. `E:\ollama\models`)
OLLAMA_HOST	сетевой адрес, по которому прослушивается служба ollama, по умолчанию -127.0.0.1 Если вы хотите разрешить другим компьютерам доступ к Ollama (например, другим компьютерам в локальной сети), то в менюРекомендуемые настройкибыть в порядке 0.0.0.0
ОЛЛАМА_ПОРТ	Указывает порт по умолчанию, на котором прослушивается служба ollama, который по умолчанию равен11434 Если существует конфликт портов, вы можете изменить настройки на другие порты (например.8080и т.д.)
OLLAMA_ORIGINS	Указывает источник запроса от HTTP-клиента, используйте полузапятые для разделения списка, если локальное использование не ограничено, вы можете установить звездочку `*`
OLLAMA_KEEP_ALIVE	Указывает время выживания большой модели после ее загрузки в память, по умолчанию -5mТо есть 5 минут (например, простое число 300 означает 300 секунд, 0 означает, что модель удаляется сразу же после обработки ответа на запрос, а любое отрицательное число означает, что модель всегда жива) рекомендуется установить на 24h Модель остается в памяти в течение 24 часов, что повышает скорость доступа.
OLLAMA_NUM_PARALLEL	Указывает количество одновременно обрабатываемых запросов, по умолчанию -1(т.е. одновременная последовательная обработка запросов) Рекомендации корректируются в соответствии с реальными потребностями
OLLAMA_MAX_QUEUE	Указывает длину очереди запросов, значение по умолчанию -512Рекомендуется подстраиваться под реальные потребности, запросы, превышающие длину очереди, будут отклонены
OLLAMA_DEBUG	обозначает вывод журнала отладки, который может быть установлен на этапе разработки приложения на1(например, вывод подробной информации из журнала для поиска и устранения неисправностей)
OLLAMA_MAX_LOADED_MODELS	Указывает максимальное количество моделей, загружаемых в память одновременно, по умолчанию1(т.е. в памяти может находиться только 1 модель)

Новичкам мы настоятельно рекомендуем настроить OLLAMA_MODELS чтобы изменить место хранения модели. По умолчанию модели Ollama хранятся в каталоге пользователя на диске C в папке .ollama/models папка, которая занимает место на диске C. Переместив ее в другой раздел, вы сможете лучше управлять хранилищем.

Шаг 1: Найдите точку входа для установки переменных системного окружения.

Способ 1: Пуск->Настройки->Общие->Дополнительные системные настройки->Свойства системы->Переменные окружения.

Метод 2: Этот компьютер -> Правый щелчок -> Свойства -> Дополнительные параметры системы -> Переменные среды.

Способ 3: Пуск->Панель управления->Система и безопасность->Система->Дополнительные параметры системы->Свойства системы->Переменные окружения.

Способ 4: Win+R, чтобы открыть окно "Выполнить", введите sysdm.cplЕсли вы хотите использовать эту опцию, откройте "Свойства системы", выберите вкладку "Дополнительно" и щелкните на "Переменные среды".

Шаг 2: Настройка OLLAMA_MODELS Переменные среды (изменение места хранения модели)

В " переменная окружения "Окна" Системные переменные (S) " (или область "Пользовательские переменные (U)", в зависимости от ваших потребностей), нажмите кнопку " новый (W)... " кнопка.
В " Название переменной (N) " в поле ввода, введите: OLLAMA_MODELS (Обратите внимание на регистр, рекомендуется использовать все заглавные буквы).
В " Переменная величина (V) " введите путь хранения модели, который вы хотите установить. Например, если вы хотите сохранить модель на диске E диска ollama\models В папке можно ввести "Переменное значение (V)": E:\ollama\models (Пожалуйста, измените букву диска и путь к папке в соответствии с реальной ситуацией).
- Внимание: Убедитесь, что вы ввели путь Уже существующие папки или Родительский каталог папки, которую вы хотите создать, существует . Ollama может быть автоматически создана при первом запуске. models папку, но хорошей идеей будет создать папку ollama чтобы убедиться в правильности пути к папке.
- Пример: Чтобы сохранить модель на электронном диске ollama\models папку, вы можете ввести его в поле "Значение переменной (V)": E:\ollama\models
Нажмите " определить ", закройте кнопку " Новые системные переменные " (или "Новая пользовательская переменная").

Внимание: Если вы не знаете, как настроить OLLAMA_MODELS переменной окружения, вы можете обратиться к следующему примеру.

(Дополнительно) Настройки OLLAMA_HOST переменная окружения (для изменения адреса прослушивания).

Если вам нужно сделать службу Ollama доступной для других устройств в локальной сети, вы можете настроить OLLAMA_HOST Переменные среды.

Также в разделе " переменная окружения "Окна" Системные переменные (S) " (или область "Переменные пользователя (U)"), нажмите кнопку " новый (W)... " кнопка.
В " Название переменной (N) " в поле ввода, введите: OLLAMA_HOST
В " Переменная величина (V) ", введите 0.0.0.0:11434 (или номер порта, который вы хотите указать; по умолчанию используется порт 11434).
- 0.0.0.0 Указывает на прослушивание всех сетевых интерфейсов для разрешения доступа к локальной сети.
- 11434 это порт Ollama по умолчанию.
- Пример: 0.0.0.0:11434
Нажмите " определить ", закройте кнопку " Новые системные переменные " (или "Новая пользовательская переменная").

Шаг 3: Перезапустите Ollama или PowerShell, чтобы переменные окружения вступили в силу

После того как переменные окружения установлены, вам нужно Перезапуск службы Ollama или Перезапустите окно командной строки (CMD) или PowerShell. чтобы новая переменная окружения вступила в силу.

Перезапустите службу Ollama. Если вы запустите ollama serveпредыдущий Ctrl + C Остановка и повторное выполнение ollama serve.
Перезапустите Command Prompt/PowerShell. Закройте все открытые окна и откройте новые.

Шаг 4: Убедитесь, что переменные окружения действуют

снова открыть Командная строка (CMD) или PowerShell .
подтвердить (теорию) OLLAMA_MODELS: Введите следующую команду и нажмите клавишу Enter:

echo %OLLAMA_MODELS%

Выход:E:\ollama\models (Если вы установили E:\ollama\models)

III. Бегущая Оллама

Запуск операторов командной строки

ollama serve

Запуск Ollama приводит к следующей ошибке, поскольку установка Ollama в системе Windows будет Загрузка по умолчанию (математика) родОллама По умолчанию служба работает по адресу http://127.0.0.1:11434.
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

Решение:

(компьютерная) клавиша быстрого доступа Win+X Откройте диспетчер задач и нажмите 启动Ниже приведен пример того, как отключить Ollama вкурсМиссия Олламы завершилась в середине года.
Повторное использование ollama serveОткройте Олламу.

Убедитесь в успешном запуске:

(компьютерная) клавиша быстрого доступа Win+RВход cmdОткройте терминал командной строки.
импорт netstat -aon|findstr 11434 Просмотр процессов, занимающих порт 11434.

netstat -aon|findstr 11434

Выход: TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 17556
Показывает, что порт 11434 занят процессом 17556

Просмотр запущенного процесса показывает, что Ollama уже запущена.

tasklist|findstr "17556"

На выходе получаем следующее:ollama.exe 17556 Console 1 31,856 K

IV. Проверка успешной установки 🎉

Клеммный вход:

ollama -h

Вывод следующий: это означает, что установка прошла успешно🎉.

Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve       Start ollama
create      Create a model from a Modelfile
show        Show information for a model
run         Run a model
pull        Pull a model from a registry
push        Push a model to a registry
list        List models
ps          List running models
cp          Copy a model
rm          Remove a model
help        Help about any command
Flags:
-h, --help      help for ollama
-v, --version   Show version information

Терминальное использование Олламы.

библиотека (ollama.com) Здесь находится библиотека моделей для ollama, найдите нужную вам модель и сразу же запустите ее!

ollama run llama3

Скорость загрузки зависит от пропускной способности вашего канала и готова к использованию ✌ Не забудьте использовать control + D Выход из чата

В-пятых, как отменить загрузку

(По состоянию на 2024-08-19) В настоящее время Ollama загружается по умолчанию под Windows, если вам не нужна загрузка, вы можете отменить ее, выполнив следующие действия.

Откройте диспетчер задач и нажмите 启动应用Найти ollama.exe Щелкните правой кнопкой мыши на . 禁用 Вот и все.

Практические уроки по искусственному интеллекту

Авторское право на статью Круг обмена ИИ Пожалуйста, не воспроизводите без разрешения.