Harbor: контейнерный набор инструментов для развертывания локальных сред разработки LLM одним щелчком мыши и простого управления и запуска сервисов ИИ

Общее введение

Harbor - это революционный контейнерный набор инструментов LLM, направленный на упрощение развертывания и управления локальными средами разработки ИИ. Он позволяет разработчикам запускать и управлять всеми компонентами ИИ-сервиса, включая бэкэнд LLM, интерфейс API, интерфейс фронтэнда и т. д., одним щелчком мыши с помощью лаконичного интерфейса командной строки (CLI) и вспомогательных приложений. Будучи проектом с открытым исходным кодом, Harbor особенно подходит для разработчиков, которым необходимо быстро создавать и экспериментировать с LLM-приложениями. Он не только поддерживает основные модели и сервисы ИИ, но и предоставляет гибкие возможности настройки и полный набор инструментов, позволяя разработчикам сосредоточиться на разработке приложений, а не на настройке среды. Harbor использует протокол открытого исходного кода Apache 2.0, активно поддерживается сообществом, получил более 770 звездных меток на GitHub, получил признание и используется многими разработчиками.

Список функций

• Развертывание одним щелчком: запустите полную среду службы LLM с помощью одной команды
• Управление контейнерами: интеграция Docker и Docker Compose для оркестровки сервисов
• Поддержка нескольких бэкендов: совместимость с различными движками LLM и форматами моделей (GGUF, SafeTensors и др.).
• Интеграция сервисов: предварительно настроенные API-сервисы и внешние интерфейсы, работающие вместе
• Инструменты развития: Обеспечивает полную цепочку инструментов местного развития
• Гибкость конфигурации: поддержка пользовательских компонентов сервиса и вариантов конфигурации
• SSL-сертификаты: встроенная поддержка Certbot для простой настройки HTTPS-доступа
• Миграция среды: поддержка экспорта конфигурации, легкая миграция в производственную среду
• Управление мониторингом: Обеспечивает мониторинг состояния сервиса и функцию просмотра журнала.
• Контроль версий: поддержка управления различными версиями компонентов сервиса ИИ

Использование помощи

1. Подготовка окружающей среды

1.1 Системные требования

• Операционная система: поддерживает Linux, MacOS или Windows WSL2
• Docker Engine 20.10+
• Docker Compose 1.18.0+
• Node.js 16+ (необязательно, для метода установки npm)

1.2 Установка гавани

# 方式1：使用npm安装
npm install -g @avlab/harbor
# 方式2：使用curl安装
curl -sfL https://get.harbor.ai | sh

2. Основное использование

2.1 Запуск сервисов

# 初始化Harbor环境
harbor init
# 启动所有服务
harbor up
# 查看服务状态
harbor ps

2.2 Конфигурация сервиса

# 配置模型路径
harbor config set models.path /path/to/models
# 启用特定服务
harbor enable chatui
harbor enable api
# 禁用服务
harbor disable service-name

3. Дополнительные функции

3.1 Конфигурация SSL-сертификата

# 设置环境变量
export NGINX_SSL_CERT_FILENAME=fullchain.pem
export NGINX_SSL_CERT_KEY_FILENAME=privkey.pem
export CERTBOT_DOMAIN=your_domain.com
export CERTBOT_EMAIL=your@email.com
# 获取证书
harbor ssl setup

3.2 Пользовательская конфигурация

# 导出配置
harbor eject
# 修改配置文件
vim harbor.yaml
# 使用自定义配置启动
harbor up -c custom-config.yaml

4. Общие операционные процедуры

4.1 Развертывание новых услуг

1. Проверьте список услуг:harbor list
2. Включите необходимые службы:harbor enable <service-name>
3. Настройте параметры службы:harbor config set <param> <value>
4. Начните обслуживание:harbor up
5. Проверьте состояние службы:harbor ps

4.2 Идентификация проблемы

# 查看服务日志
harbor logs <service-name>
# 检查服务状态
harbor status
# 重启服务
harbor restart <service-name>

5. лучшие практики

• Регулярное резервное копирование файлов конфигурации
• Управление пользовательскими конфигурациями с помощью контроля версий
• Мониторинг использования ресурсов службы
• Поддерживайте гавань и сопутствующие компоненты в актуальном состоянии
• Ускорьте процесс развертывания с помощью предварительных настроек проекта

Устанавливаемые услуги искусственного интеллекта

пользователь

Откройте WebUI ⦁︎ ComfyUI ⦁︎ LibreChat ⦁︎ Обнимающееся лицо ChatUI ⦁︎ Чат с лоботрясами ⦁︎ Холлама ⦁︎ парллама ⦁︎ BionicGPT ⦁︎ AnythingLLM ⦁︎ Чат Нио

внутренняя служба

Оллама ⦁︎ llama.cpp ⦁︎ vLLM ⦁︎ TabbyAPI ⦁︎ Двигатель Афродиты ⦁︎ mistral.rs ⦁︎ openai-speech ⦁︎ faster-whisper-server ⦁︎ Parler ⦁︎ генерация текста ⦁︎ LMDeploy ⦁︎ AirLLM ⦁︎ SGLang ⦁︎ KTransformers ⦁︎ Nexa SDK

Инструменты расширения

Скамейка в гавани ⦁︎ Усиление гавани ⦁︎ SearXNG ⦁︎ Perplexica ⦁︎ Dify ⦁︎ Plandex ⦁︎ LiteLLM ⦁︎ LangFuse ⦁︎ Открытый переводчик ⦁ ︎cloudflared ⦁︎ cmdh ⦁︎ ткань ⦁︎ txtai RAG ⦁︎ TextGrad ⦁︎ Aider ⦁︎ айхат ⦁︎ omnichain ⦁︎ lm-evaluation-harness ⦁︎ JupyterLab ⦁︎ ол1 ⦁︎ OpenHands ⦁︎ ЛитЛайты ⦁︎ Repopack ⦁︎ n8n ⦁︎ Bolt.new ⦁︎ Открытые конвейеры WebUI ⦁︎ Qdrant ⦁︎ K6 ⦁︎ Promptfoo ⦁︎ Webtop ⦁︎ OmniParser ⦁︎ Flowise ⦁︎ Langflow ⦁︎ OptiLLM

См. также Сервисная документация Получите краткую информацию о каждой услуге.

Подробные шаги по установке Open WebUI с помощью Harbor

1. предварительная подготовка

• Убедитесь, что Docker и Docker Compose установлены.
• Убедитесь, что Harbor CLI правильно установлен.
• Убедитесь, что система соответствует базовым требованиям (рекомендуется 8 ГБ или более оперативной памяти).

2. Инициализация среды Harbor

# 初始化Harbor环境
harbor init
# 验证Harbor环境
harbor doctor

3. Установка и настройка Open WebUI

3.1 Включение служб WebUI

# 启用Open WebUI服务
harbor enable webui

3.2 Конфигурация основных параметров (опционально)

# 配置WebUI版本（如果需要指定特定版本）
harbor webui version <version>
# 配置WebUI端口（默认为8080）
harbor config set webui.port <port_number>

4. Активация услуг

# 启动所有已启用的服务，包括WebUI
harbor up
# 或者仅启动WebUI服务
harbor up webui

5. Проверка установки

• Перейдите на http://localhost:8080 (или любой другой порт, который вы настроили).
• Проверьте статус услуги:

harbor ps

6. Общие команды управления

Проверка состояния обслуживания

# 查看所有运行中的服务
harbor ps
# 查看WebUI日志
harbor logs webui

управление услугами

# 停止WebUI服务
harbor stop webui
# 重启WebUI服务
harbor restart webui
# 更新WebUI版本
harbor webui version latest
harbor restart webui

7. Интеграция Олламы (по желанию)

Если вы хотите подключиться к Ollama с помощью WebUI:

# 启用Ollama服务
harbor enable ollama
# 重启服务
harbor restart

8. Устранение распространенных проблем

Проверка состояния здоровья службы

harbor doctor

Просмотр конкретных сообщений об ошибках

harbor logs webui

Разрешение конфликтов в порту

Если порт 8080 занят:

# 修改WebUI端口
harbor config set webui.port 8081
harbor restart webui

9. Расположение файла конфигурации

• Главный файл конфигурации:~/.harbor/.env
• Конфигурация WebUI:~/.harbor/open-webui/

10. Рекомендации по резервному копированию

# 导出当前配置
harbor eject > harbor-backup.yaml

Оговорки:

1. Убедитесь, что система имеет достаточно ресурсов для работы службы
2. При первой загрузке может потребоваться некоторое время для загрузки образа
3. Если у вас возникли проблемы с разрешениями, проверьте настройки разрешений Docker
4. Рекомендуется регулярно создавать резервные копии файлов конфигурации
5. Поддерживайте обновление Harbor и сопутствующих сервисов до последней версии

开始使用：
1. 完成安装后，打开浏览器访问 http://localhost:8080
2. 首次访问时会要求进行基本设置
3. 可以开始使用Open WebUI进行AI对话了
需要帮助时可以使用：
```bash
harbor help webui