[RPM] Локальный запуск больших моделей Deepseek R1 671b на серверах EPYC за $2000

Создание локального сервера выводов ИИ Deepseek

Сначала хорошие новости! Digital Spaceport получила отличную производительность от платформы AMD EPYC Rome, которую они использовали для предыдущего обзора :😁: Эта установка - классика! У тех, кто использует эту платформу, сегодня хорошие новости: они работают со скоростью от 4,25 до 3,5 шт/с с полной моделью Q4 671b! Токен (TPS). Это важно, потому что "легкие" модели совсем не в той лиге. Они работают не так хорошо, и другие модели легко превосходят их. Чтобы получить действительно большие впечатления от модели, используйте полную модель, желательно с большим контекстным окном (16K+). Полная модель работает нормально, даже если вы запускаете ее только на CPU, поэтому вы можете оставить ее запущенной, а некоторые более мелкие модели, например модели распознавания изображений, запустить на GPU. Опять же, вы не сможете запустить полную версию на одной только памяти GPU, если только у вас нет супермощной установки! Deepseek Digital Spaceport научит вас разным хитростям, чтобы запустить его. Это не совсем "просто", но весело, если вам нравится возиться с технологиями.

Исправление (2024/02/01)

• Потребляемая мощность в режиме холостого хода: 60 Вт (меньше, чем ожидала Digital Spaceport, и это без подключенного GPU).
• Потребляемая мощность при полной нагрузке: 260 Вт
• Цифровой космопорт Текущая частота памяти: 2400 МГц (3200 МГц может быть лучше)

Аппаратное обеспечение процессора локального сервера искусственного интеллекта

Если вы уже видели руководство по настройке графического сервера Digital Spaceport на базе quad 3090, то вам повезло. Этот процессор EPYC 7702 можно превзойти и сегодня. Digital Spaceport рекомендует использовать более мощный процессор, поскольку цена сейчас примерно одинакова, а прирост производительности значителен. Однако результаты, приведенные в этой статье, были получены на собственном процессоре Digital Spaceport 7702, а материнская плата MZ32-AR0 была хорошей рекомендацией в те времена, поскольку она имеет 16 слотов памяти, которые работают на полной частоте 3200 МГц, что поможет вам сократить расходы на приобретение от 512 ГБ до 1 ТБ памяти. В Digital Spaceport используются планки памяти DDR4 с частотой 2400 МГц, но если вы будете использовать планки DDR4 ECC с частотой 3200 МГц, то сможете увеличить производительность. 16 планок по 32 ГБ дадут вам 512 ГБ памяти, а 16 планок по 64 ГБ - 1 ТБ.Примечание: Платы памяти LRDIMM и RDIMM нельзя смешивать! (LRDIMM и RDIMM - это два разных типа серверных планок памяти, и их не следует смешивать, иначе компьютер может не загрузиться.)

Список компонентов локального AI Server Rig

• Стеллажи $55
• Главная плата MZ32-AR0 $500
• Процессор с водяным охлаждением 420 мм Corsair h170i elite capellix xt $170
• Кронштейн для радиатора водяного охлаждения процессора EPYC
• 64-ядерный AMD EPYC 7702 $650 или 64-ядерный AMD EPYC 7V13 $599 или 64-ядерный AMD EPYC 7C13 $735
• Память 512 ГБ 2400 ECC $400
• Твердотельный накопитель NVMe объемом 1 ТБ - Samsung 980 Pro $75
• Блок питания 850 Вт $80 (Если вы используете только процессор, 850 Вт будет достаточно. Для работы с GPU рекомендуется приобрести блок питания мощностью 1500 или 1600 Вт)

(Цены указаны по состоянию на 29 января 2025 года)
Общая стоимость: около 2 000 долларов* Если вы используете 512 ГБ оперативной памяти 2400 и процессор EPYC 7702, Digital Spaceport рекомендует приобрести процессор 7C13 или 7V13, а не повышать частоту памяти. Обновление до 768 ГБ оперативной памяти является вторым вариантом, а оперативная память с частотой 3200 МГц рассматривается в последнюю очередь. При использовании топового процессора (7C13 или 7V13) и 1 ТБ оперативной памяти с частотой 2400 МГц общая цена составит около $2500. **.

Сборка стойки буровой установки

Процесс сборки такой же, как и в предыдущем видео, но без GPU и карты расширения. Если вы хотите добавить GPU позже, Digital Spaceport рекомендует с самого начала приобрести блок питания мощностью 1500 или 1600 Вт. После добавления GPU и карты расширения остальная часть устройства остается прежней. Вы можете посмотреть это видео, чтобы узнать, как его собрать. (Это относится к видео с конфигурацией графического сервера quad 3090, о котором говорилось выше.) Не обращайте внимания на часть видео о GPU, остальные шаги аналогичны.

Также нелишним будет установить стену из небольших вентиляторов, связанных между собой стяжками-молниями, которые будут обдувать планки памяти, помогая отводить тепло. Планки памяти не будут термически предохраняться, но при перегреве сработает защита от перегрева, что снизит производительность и повлияет на скорость обработки данных. Digital Spaceport использует четыре небольших 80-миллиметровых вентилятора. (Стенка вентилятора означает, что несколько вентиляторов установлены рядом друг с другом, образуя воздушную стену, обеспечивающую большую мощность охлаждения)

Советы по модернизации материнской платы

Если вы хотите использовать процессор AMD EPYC 7V13, вам лучше сразу купить материнскую плату MZ32-AR0 версии V3, а не покупать V1 и затем обновлять ее. Версия V1 может не поддерживать процессоры архитектуры Milan с завода, и вам придется использовать версию V3, поэтому вам может потребоваться сначала обновить BIOS материнской платы на версию V2 для этого процессора.BIOS - это "душа" материнской платы компьютера, управляющая запуском и работой оборудования. Обновление BIOS позволяет материнской плате поддерживать более новое оборудование.) Digital Spaceport не может точно сказать, поддерживает ли версия V1 процессоры Milan, но Digital Spaceport считает это весьма вероятным. По опыту Digital Spaceport, вы можете обновить материнскую плату V1 до последней версии V3 путем прошивки обновления BIOS. Сначала нужно прошить более раннюю версию V3 BIOS, а затем - последнюю версию V3 BIOS. Последняя версия BIOS - M23_R40 (Данные на момент написания статьи).

Локальная установка программного обеспечения AI на собственном хостинге

Эта часть установки программного обеспечения немного сложнее, чем предыдущие руководства Digital Spaceport. Да, вы можете установить Ollama непосредственно на пустую систему Proxmox.Proxmox - это программное обеспечение для управления виртуализацией серверов, которое позволяет запускать несколько виртуальных машин на одном физическом сервере.) Однако Digital Spaceport считает, что лучше этого не делать. Теперь у вас есть два варианта, и Digital Spaceport сначала расскажет об одном из них. Digital Spaceport необходимо проверить влияние производительности, прежде чем принимать решение о том, рекомендовать ли другой вариант. Другой вариант - запустить Ollama в отдельном LXC-контейнере или виртуальной машине (ВМ).Контейнеры LXC и виртуальные машины - обе технологии виртуализации, изолирующие среду, в которой выполняется программное обеспечение.) Если вы уже знакомились с учебниками Digital Spaceport по LXC и Docker, вы можете продолжать использовать LXC, но Digital Spaceport советует пока установить его на виртуальную машину (VM). Digital Spaceport попытается разработать более унифицированное решение, чтобы сделать все счастливо самодостаточным на нашем маленьком AI-сервере, но это займет время.

Голый металл Ubuntu 24.04 или Proxmox VM?

Если вы хотите свести к минимуму лишние хлопоты, связанные с установкой с нуля, то просто установите его на пустой сервер Ubuntu 24.04. В качестве альтернативы вы можете обратиться к предыдущему руководству по Proxmox. (Отсылка к ранее опубликованному руководству по установке Proxmox от Digital Spaceport.) Вы сами решаете, что делать, на свой страх и риск. Вы также можете установить окружение рабочего стола, если хотите, но это не обязательно, и Digital Spaceport не демонстрирует это. Мы запускаем сервис на сервере, поэтому не бойтесь интерфейса командной строки (CLI).

Настройка BMC материнской платы MZ32-AR0

Подключите порты Ethernet и BMC материнской платы MZ32-AR0 к сетевому кабелю. (BMC (Baseboard Management Controller) Контроллер управления базовой платой, который может удаленно управлять оборудованием сервера) Если вы используете маршрутизатор с брандмауэром, например opnsense или pfsense, вы можете проверить список ARP маршрутизатора, чтобы увидеть, отображается ли порт BMC. Найдите IP-адрес BMC. Для Digital Spaceport адрес BMC - https://192.168.1.XX. Откройте этот адрес в браузере, и на экране появится окно для ввода имени пользователя и пароля. По умолчанию имя пользователя admin, а пароль указан на наклейке на материнской плате, под логотипом MZ32-AR0. Наклейка на материнской плате Digital Spaceport показана на рисунке. Это наклейка со штрих-кодом. Пароль, вероятно, является начальным, если удалить первые 3 символа "3/C/", а затем следующие 6 или 11 символов. После успешного входа в интерфейс управления BMC перейдите по адресу

Главная > Настройки > Сеть > Настройки сетевого IP-адреса

Установите статический IP-адрес материнской платы. Если вы используете локальные DNS- и NTP-серверы, настройте и их. (DNS-серверы для разрешения доменных имен и NTP-серверы для синхронизации времениИнтерфейс управления BMC будет часто использоваться в будущем, поэтому нелишним будет добавить его в закладки.

Затем нажмите на "Remote Control" в боковой панели. На странице появится опция "HTML5 viewer". Digital Spaceport рекомендует использовать проводное соединение, так как вы будете загружать ISO-образ системы Ubuntu 24.04 объемом 2,5 ГБ по сети, чтобы установить систему позже. (Файл образа ISO - это полная резервная копия диска или жесткого диска.) Перейдите на веб-сайт Ubuntu, чтобы загрузить Образ ISO для версии Ubuntu 24.04 ServerСайт Его размер составляет около 2,5 ГБ. В HTML5-просмотрщике интерфейса администратора BMC нажмите на правый верхний угол и загрузите этот ISO-образ.

Когда загрузка завершится, нажмите "Start (запуск)". Если вы еще не включили сервер, сделайте это сейчас. После включения интерфейс HTML5 viewer начнет отображать прогресс загрузки, и цифры будут медленно увеличиваться. Щелкните мышью в окне "экран" и дождитесь появления загрузочного лого Gigabyte. Как только вы увидите лого, нажмите DEL на клавиатуре, чтобы войти в настройки BIOS. В BIOS загрузите настройки по умолчанию, затем сохраните и перезагрузите компьютер. После того как компьютер перезагрузится, снова войдите в BIOS и на этот раз измените некоторые настройки. Прежде всего, установите загрузочный диск. Режим загрузки может быть либо UEFI, либо Legacy, что, вероятно, менее хлопотно и с меньшей вероятностью вызовет проблемы. (UEFI и Legacy - это два разных режима загрузки BIOS, причем UEFI является более современным и продвинутым.)

Ниже перечислены пункты настроек BIOS, которые необходимо найти и изменить:

• NPS установлено на 1 (NPS (Nodes Per Socket) Количество узлов на сокет, влияет на режим доступа к памяти процессора.)
• ПЗС-матрица установлена в положение Авто (CCD (Core Complex Die) процессорный комплекс Core Complex, модульная конструкция процессоров AMD)
• SMT Off (SMT (Simultaneous Multithreading), версия Hyper-Threading от AMD, отключена для более стабильной работы одного ядра.)
• SVM выключен (может быть включен при использовании Proxmox VM, производительность будет немного снижена) (SVM (Secure Virtual Machine) Режим безопасной виртуальной машины, аппаратное ускорение технологии виртуализации)
• IOMMU выключен (может быть включен при использовании Proxmox VM, производительность будет немного снижена) (IOMMU (Input-Output Memory Management Unit) Блок управления входной и выходной памятью, аппаратно ускоренный с помощью технологии виртуализации)
• cTDP скорректирован до 200 Вт (для процессора EPYC 7702) (cTDP (настраиваемый TDP) Настраиваемый TDP для регулировки мощности и производительности процессора)
• Установите детерминированное управление на ручное и потяните ползунок к производительности.
• политика быстрого питания настроена на производительность
• BoostFMax установлен на ручное управление (Настройка предельной частоты ускорения процессора BoostFMax)
• boostFmax установлен на 3400 (для процессора EPYC 7702) (Установите верхний предел частоты разгона процессора на 3,4 ГГц)

Изменив указанные выше настройки BIOS, сохраните их и снова перезагрузитесь. При перезагрузке нажмите F12/11/10 (Digital Spaceport не помнит, какая клавиша, она показана внизу страницы загрузочного лого), чтобы войти в меню загрузки. Выберите опцию "AMI Virtual CD" для загрузки с виртуального привода CD-ROM. Если у вас есть проводное подключение к Интернету, вы сможете быстро перейти к экрану установки Ubuntu. Следующим шагом в процессе установки Ubuntu будет настройка вашей системы Ubuntu. Задайте имя пользователя и пароль, убедитесь, что вы их помните. Отметьте опцию "настроить ssh-сервер", чтобы облегчить удаленный вход в систему после завершения установки. (SSH (Secure Shell) Протокол Secure Shell для удаленного входа в систему и управления серверами) Дождитесь завершения установки системы. После завершения установки система перезагрузится и предложит нажать Enter для продолжения. После нажатия Enter система снова перезагрузится, после чего вы войдете в терминал командной строки и получите запрос на ввод имени пользователя. Введите имя пользователя и пароль, которые вы задали для входа в систему. После успешного входа в систему введите команду

ip a

Запомните отображаемый IP-адрес. Теперь вы можете вернуться на свой компьютер с Windows/macOS/Linux и закрыть окно HTML5 viewer в интерфейсе администрирования BMC. В программе Terminal вашего компьютера введите (введите) username Замените его своим именем пользователя, именем ipaddress Замените его на IP-адрес, который вы только что запомнили).

ssh username@ipaddress

Установка часто используемого программного обеспечения

Вот большой список команд, просто скопируйте и вставьте их в терминал и запустите. Шаги, связанные с GPU, здесь опущены, если у вас видеокарта NVIDIA, вы можете установить драйверы после выполнения следующих шагов.

sudo apt update && sudo apt upgrade -y && sudo apt install -y htop git glances nano lsof unzip

• sudo apt update: Обновите список источников программного обеспечения, чтобы обеспечить загрузку последних пакетов.
• sudo apt upgrade -y: Обновите все установленные пакеты до последней версии.-y параметр указывает, что все операции подтверждаются автоматически.
• sudo apt install -y htop git glances nano lsof unzip: Установите несколько распространенных программ для Linux.
  • htop: Более удобный менеджер процессов, позволяющий просматривать использование системных ресурсов в режиме реального времени.
  • git: Инструмент версионирования кода для загрузки и управления кодом.
  • glances: Более мощный инструмент мониторинга системы, чем htop Более богатая функциональность.
  • nano: Простой в использовании текстовый редактор для редактирования конфигурационных файлов.
  • lsof: Инструмент для просмотра открытых файлов, который можно использовать для устранения таких проблем, как занятость портов.
  • unzip: Инструмент для распаковки ZIP-файлов.

Установка статического IP-адреса

Введите в терминале командной строки:

sudo netplan generate

Эта команда создает файл конфигурации сети по умолчанию. Затем используйте команду nano Редактор открывает файл конфигурации:

sudo nano /etc/netplan/50-cloud-init.yaml

Содержимое конфигурационного файла по умолчанию выглядит примерно так. Нам нужно изменить eno1 конфигурация сетевой карты.eno1 Соответствует физическому сетевому порту на материнской плате. Игнорировать enp65s0np0Это внешняя сетевая карта.

Используйте клавиши со стрелками на клавиатуре для перемещения курсора, чтобы изменить файл конфигурации на что-то вроде следующего. используйте ваш текущий IP-адрес для IP-адреса, чтобы облегчить работу и избежать усложнения. цифровой космопорт установите статический IP здесь на 192.168.1.200Шлюзом маршрутизатора является 192.168.1.1Это очень распространенная конфигурация домашней сети.

После завершения модификации нажмите Ctrl+X прервать nano редактор, при появлении запроса на сохранение нажмите Y для подтверждения.

Когда вы вернетесь к терминалу, введите команду, чтобы применить новую конфигурацию сети:

sudo netplan apply

Теперь ваш сервер настроен на статический IP-адрес. Вы можете перезагрузить сервер и удаленно войти в систему с помощью SSH, чтобы убедиться, что настройки статического IP действуют.

Установите Ollama

следующая установка Оллама Система управления большими моделями.

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

• curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz: Загрузите установочный пакет Ollama.curl это инструмент загрузки из командной строки.-L параметр указывает на ссылку перенаправления.-o Параметр задает имя файла для сохранения.
• sudo tar -C /usr -xzf ollama-linux-amd64.tgz: Распакуйте установочный пакет Ollama в /usr Каталог.tar это популярный инструмент сжатия/декомпрессии для систем Linux.-C /usr Укажите каталог распаковки как /usr(математика) род-xzf параметр для распаковки gzip-сжатого tar-файла.
• sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama: Создайте файл с именем ollama системный пользователь для запуска службы Ollama.
  • sudo useradd: Команда для создания пользователя.
  • -r: При создании системного пользователя UID и GID назначаются автоматически.
  • -s /bin/false: Запретить пользователям входить в систему.
  • -U: Создайте группу пользователей с тем же именем.
  • -m: Автоматически создает домашний каталог пользователя.
  • -d /usr/share/ollama: Укажите домашний каталог пользователя как /usr/share/ollama.
  • ollama: Имя пользователя.
• sudo usermod -a -G ollama $(whoami): Добавить текущего пользователя в ollama Группы пользователей.
  • sudo usermod: Команда для изменения информации о пользователе.
  • -a: Добавить в группу пользователей вместо переопределения.
  • -G ollama: Добавить в ollama Группы пользователей.
  • $(whoami): Получение имени текущего пользователя.

Эта команда также создает файл под названием ollama пользователя, и установите Ollama в /usr/share/ollama каталог. По умолчанию файлы модели помещаются в каталог /usr/share/ollama/.ollama/models/ Каталог.

Настройка переменных среды и служб

Теперь необходимо задать некоторые переменные окружения, которые будут использоваться при запуске Ollama. Это очень важно для решения задач параллельной обработки.

sudo nano /etc/systemd/system/ollama.service

расход или издержки nano Редактор открывает файл конфигурации службы systemd Ollama. Нам нужно добавить переменные окружения в конфигурационный файл. Ниже приведен список всех переменных окружения, которые можно настроить, нам не обязательно использовать их все, они приведены просто для справки.

Переменные среды:

• -OLLAMA_DEBUG: Отображение дополнительной отладочной информации (например. OLLAMA_DEBUG=1)
• -OLLAMA_HOST: IP-адрес, на котором прослушивается сервер Ollama (по умолчанию) 127.0.0.1:11434)
• -OLLAMA_KEEP_ALIVE: как долго модель остается загруженной в память (по умолчанию "5m"(5 минут)
• -OLLAMA_MAX_LOADED_MODELS: Максимальное количество моделей, разрешенных для загрузки на GPU
• -OLLAMA_MAX_QUEUE: Максимальная длина очереди запросов
• -OLLAMA_MODELS: Каталог, в котором хранятся файлы модели
• -OLLAMA_NUM_PARALLEL: Максимальное количество параллельных запросов
• -OLLAMA_NOPRUNE: Нет очистки кэша модели при запуске
• -OLLAMA_ORIGINS: список источников, разрешающих междоменные запросы, разделенный запятыми
• -OLLAMA_SCHED_SPREAD: распределять ли модель равномерно по всем графическим процессорам.
• -OLLAMA_FLASH_ATTENTION: Включать ли ускорение Flash Attention (Flash Attention - это оптимизация Трансформатор Методы моделирования эффективности вычислений)
• -OLLAMA_KV_CACHE_TYPE: Тип квантования кэша K/V (по умолчанию) f16) (Кэш K/V - ключевой компонент модели Transformer, используемый для ускорения вывода, и квантование уменьшает занимаемую память, но может потерять точность.)
• -OLLAMA_LLM_LIBRARY: Укажите библиотеки LLM, чтобы обойти автоопределение (Библиотеки LLM - это базовые вычислительные библиотеки, используемые для запуска больших моделей, таких как llama.cpp, exllama и др. (и другие авторы))
• -OLLAMA_GPU_OVERHEAD: Объем памяти, зарезервированный для каждого GPU (байты)
• -OLLAMA_LOAD_TIMEOUT: Таймаут загрузки модели (по умолчанию) "5m"(5 минут)

Содержимое файла конфигурации Digital Spaceport выглядит следующим образом. Примечание: Если у вас нет GPU-карты, вам не нужно (и не стоит) заполнять переменные окружения, связанные с GPU.

нажмите Ctrl+Xзатем нажмите Y Сохраните файл конфигурации. Затем выполните следующую команду:

sudo systemctl daemon-reload
sudo systemctl start ollama
nproc

• sudo systemctl daemon-reload: Перезагрузите файл конфигурации службы systemd, чтобы изменения вступили в силу.
• sudo systemctl start ollama: Стартап ollama.service Сервис Ollama Big Model Framework.
• nproc: Просмотр количества ядер процессора.

Теперь переменные окружения настроены. nproc Команда должна вывести число 64Если на выходе получается не полное ядро процессора, это означает, что имеется 64 ядра процессора. Если на выходе 128Это означает, что гиперпоточность SMT не отключена, поэтому вам нужно отключить ее в BIOS. Если выход 32 возможно 96Если состояние выходов не совпадает с состоянием выходов, проверьте настройки NPS и CCD в BIOS. Если выход 64Если количество ядер процессора верно, вы можете перейти к следующему шагу (LFG = Let's Fucking Go).

Скачать модель Deepseek 671b

Теперь загрузите большую модель Deepseek 671b. Эта модель занимает около 400 ГБ дискового пространства, так что, надеюсь, ваш NVMe SSD достаточно вместителен.

ollama pull deepseek-r1:671b

• ollama pull deepseek-r1:671b: Загрузка с помощью клиента Ollama deepseek-r1:671b Модели.pull чтобы загрузить модель.deepseek-r1:671b это название и версия модели.

Процесс загрузки будет медленным, так что наберитесь терпения. Кстати, сетуйте на ошеломляющую стоимость трафика данных... (Загрузка больших моделей потребляет много сетевого трафика, особенно с иностранных серверов, и может привести к большим расходам на трафик)

Установка OpenWEBUI

Для запуска OpenWEBUI нам нужно использовать Docker или Python. В Digital Spaceport для развертывания используется Docker. Убедитесь, что в вашей системе не установлено никакое другое программное обеспечение, связанное с Docker, чтобы избежать конфликтов.

for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done

• for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done: Цикл удаления пакетов, связанных с Docker, которые могут быть установлены, чтобы избежать конфликтов.
  • for pkg in ... ; do ... ; done: Оператор цикла for, который итерирует список пакетов.
  • docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc: Список пакетов, связанных с Docker, которые могут быть установлены.
  • sudo apt-get remove $pkg: Удалите пакет.apt-get remove это команда для удаления пакетов в системах Debian/Ubuntu.$pkg переменная цикла, представляющая имя пакета, который в данный момент обходится.

Установите официальные исходные тексты Docker:

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt-get update

• Эта команда используется для добавления официальных репозиториев Docker, чтобы облегчить установку последней версии Docker.
  • Первая часть добавляет официальный ключ Docker GPG, который используется для проверки целостности и происхождения пакета.
  • Вторая часть добавляет источники Docker в список источников APT (Advanced Package Tool).
  • окончательный sudo apt-get update Обновите список источников программного обеспечения, чтобы включить новые добавленные источники Docker.

Установите движок Docker Engine:

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y

• sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin -y: Установите движок Docker Engine и сопутствующие компоненты.
  • docker-ce: движок Docker Community Edition.
  • docker-ce-cli: клиент командной строки Docker.
  • containerd.io: базовые зависимости Docker во время выполнения контейнера.
  • docker-buildx-plugin: Плагин Docker Buildx для создания мультиархитектурных образов Docker.
  • docker-compose-plugin: Плагин Docker Compose для управления многоконтейнерными Docker-приложениями.
  • -y: Автоматическое подтверждение всех операций.

Установите менеджер контейнеров Dockge Docker.

Каталог данных Dockge по умолчанию находится в /opt/dockge каталог, а данные, связанные с Docker, также находятся в каталоге /opt Каталогом легко управлять.

sudo mkdir -p /opt/stacks /opt/dockge
cd /opt/dockge
sudo curl https://raw.githubusercontent.com/louislam/dockge/master/compose.yaml –output compose.yaml
docker compose up -d

• sudo mkdir -p /opt/stacks /opt/dockge: Создать каталог /opt/stacks ответить пением /opt/dockgeЗдесь хранятся файлы, связанные с Dockge.-p означает, что если родительский каталог не существует, то он также будет создан.
• cd /opt/dockge: Переключить текущий рабочий каталог на /opt/dockge.
• sudo curl https://raw.githubusercontent.com/louislam/dockge/master/compose.yaml –output compose.yaml: Скачать книгу "Докдж. compose.yaml Документация.compose.yaml это конфигурационный файл для Docker Compose, определяющий конфигурацию контейнера Docker.
• docker compose up -d: Запустите контейнер Dockge с помощью Docker Compose.up чтобы запустить контейнер.-d параметр указывает на работу в фоновом режиме.

Теперь вы можете получить доступ к интерфейсу администрирования Dockge через браузер, чтобы завершить оставшиеся шаги по управлению контейнерами Docker. Если вы не знаете IP-адрес сервера, вы можете проверить сетевые настройки сервера. Адрес для доступа через браузер http://服务器IP:5001Например, IP-адрес сервера Digital Spaceport совпадает с IP-адресом сервера Digital Spaceport. Например, IP-адрес сервера Digital Spaceport следующий 192.168.1.200Тогда адрес доступа будет http://192.168.1.200:5001. При первом посещении вам нужно будет задать имя пользователя и пароль, поэтому не забудьте их. Следующим шагом будет создание OpenwebUI контейнера Docker.

Вставьте следующее в редактор Compose Dockge в качестве конфигурации Compose для OpenwebUI:

version: “3.3”
services:
open-webui:
ports:
– 7000:8080
volumes:
– open-webui:/app/backend/data
container_name: open-webui
restart: always
image: ghcr.io/open-webui/open-webui:latest
volumes:
open-webui: {}
networks:
dockge_default:
external: true

• Эта конфигурация Compose определяет файл под названием open-webui Контейнер Docker для запуска OpenWEBUI.
  • version: "3.3": Версия файла Docker Compose.
  • services: Определите список услуг.
    • open-webui: Название услуги.
      • ports: Port mapping, сопоставляет порт 8080 контейнера с портом 7000 хоста.
      • volumes: Том данных монтируется на хосте. open-webui Том монтируется к контейнеру /app/backend/data каталог для постоянного хранения данных OpenWEBUI.
      • container_name: имя контейнера, установленное на open-webui.
      • restart: always: Контейнер всегда перезапускается автоматически.
      • image: ghcr.io/open-webui/open-webui:latest: Используемый образ Docker.ghcr.io/open-webui/open-webui:latest это последний образ Docker для OpenWEBUI.
  • volumes: Определите объем данных.
    • open-webui: {}: Создайте файл с именем open-webui объема данных.
  • networks: Определение сетей.
    • dockge_default: Имя сети.
      • external: true: Использование внешних сетей dockge_defaultПо умолчанию Dockge создает файл под названием dockge_default сети.

Нажмите "Сохранить" и "Запустить". Первый запуск будет медленным, потому что вам нужно загрузить образ Docker. Чтобы обновить образ OpenWEBUI позже, просто нажмите кнопку "обновить" в интерфейсе Dockge. Как только контейнер будет запущен, зайдите на страницу http://服务器IP:7000 Вы сможете открыть интерфейс OpenWEBUI. Например, IP-адрес сервера Digital Spaceport следующий 192.168.1.200Тогда адрес доступа будет http://192.168.1.200:7000. При первом посещении вам нужно будет задать имя пользователя и пароль, которые важно запомнить. Давайте прямо сейчас Почти готово! Ух ты!Ух ты!)

Подключение OpenWEBUI к Ollama

На странице "/admin/settings" -> "connections" административного интерфейса OpenWEBUI нажмите на знак "+", чтобы добавить новое серверное соединение. Введите адрес сервера 服务器IP:11434. Например.192.168.1.200:11434(Обратите внимание на замену IP-адреса вашего сервера). (Будьте внимательны, заменяя его на IP-адрес вашего сервера). Если подключение прошло успешно, в интерфейсе OpenWEBUI появится зеленое сообщение "connection success".

После подключения нажмите на иконку Connection Manager, чтобы увидеть подключенные серверы Ollama. Если модель Deepseek уже была загружена, вы увидите ее в выпадающем меню "Удалить модель". deepseek-r1:671b Модели.

Поздравляю, почти все готово! Но Не спешите покидать страницу настроек!

Настройка дополнительных параметров

Нажмите на значок "Редактировать" (перо).

Теперь можно редактировать дополнительные параметры. Не забудьте нажать "SAVE!", когда закончите.

• Количество графических процессоров (GPU): Если у вас нет карты GPU, измените это значение на 0.
• Усилия по осмыслению: Дополнительно low (низкий) medium (M) или high (высокий), по умолчанию medium (в центре).
• Контекст Длина: Установить на 16364Длина контекста в 16K не является проблемой. При большей длине контекста требуется больше памяти или GPU RAM.
• Количество потоков (num_thread): Установить на 62Кроме того, для системы зарезервировано 2 ядра процессора.
• Включите блокировку памяти (use_mlock): Можно включить, чтобы данные из памяти не выгружались на диск и не влияли на производительность. (Блокировка памяти (mlock) предотвращает выгрузку страниц памяти на диск операционной системой, что повышает эффективность работы приложения, но увеличивает занимаемую память.)

Другие параметры можно настроить в соответствии с инструкциями на карточке модели. Примечание: Не пытайтесь использовать всю длину контекста 160K, если у вас нет 2 ТБ оперативной памяти! Даже если это сработает, скорость будет очень Медленно.

ВАЖНО: Не забудьте нажать "СОХРАНИТЬ!".

Настройка параметров пользователя

Нажмите на "Настройки пользователя", чтобы изменить пользовательские настройки. Рекомендуется установить более длительный период времени, например 3 часа, для параметра "Сохранять живым". После изменения настроек нажмите "Сохранить".

Настройки пользователя немного путаются с предыдущими настройками администратора, поэтому будьте внимательны, чтобы их различать.

Проведите тест.

Боже мой, я не могу поверить, что вы зашли так далеко! Это фантастика, Digital Spaceport восхищается вами! Нажмите на "новый чат" в левом верхнем углу интерфейса OpenWEBUI. В списке моделей уже должны быть deepseek-r1:671b Я понял. Попробуйте отправить случайное "привет". Сработало!

Тестирование производительности Deepseek R1 671b

Поздравляем вас с успешной установкой и запуском сервиса локальных больших моделей Ollama + OpenWEBUI! Digital Spaceport считает, что существует множество других отличных решений для запуска локальных больших моделей, таких как llama.cpp, exo ответить пением vLLMУчебники будут опубликованы после того, как Digital Spaceport углубится в тему. Учебники будут опубликованы после того, как Digital Spaceport углубится в тему. llama.cpp Может быть следующим, Digital Spaceport недавно скомпилировала, протестировала и запустила llama.cppРезультат очень хорош! Просто слишком много параметров, которые нужно отработать. vLLM Это немного сложно.exo Он довольно прост, но постоянно падает после запуска, и у меня пока нет времени на его отладку. В общем, как говорится... Следите за новостями! (СКОРО!)