Harbor: un conjunto de herramientas en contenedores para desplegar entornos de desarrollo LLM locales con un solo clic y gestionar y ejecutar fácilmente servicios de IA.

Introducción general

Harbor es un revolucionario conjunto de herramientas LLM en contenedores centrado en simplificar el despliegue y la gestión de entornos locales de desarrollo de IA. Permite a los desarrolladores lanzar y gestionar todos los componentes del servicio de IA, incluidos el backend LLM, la interfaz API, la interfaz front-end, etc., con un solo clic a través de una concisa interfaz de línea de comandos (CLI) y aplicaciones de apoyo. Como proyecto de código abierto, Harbor es especialmente adecuado para desarrolladores que necesitan crear y experimentar rápidamente con aplicaciones LLM. No sólo es compatible con los principales modelos y servicios de IA, sino que también ofrece opciones de configuración flexibles y una cadena de herramientas completa, lo que permite a los desarrolladores centrarse en el desarrollo de aplicaciones en lugar de en la configuración del entorno.Harbor adopta el protocolo de código abierto Apache 2.0, cuenta con el apoyo activo de la comunidad y ha recibido más de 770 etiquetas con estrella en GitHub, además de ser reconocido y utilizado por muchos desarrolladores.

Lista de funciones

• Despliegue con un solo clic: Inicie un entorno de servicio LLM completo con un solo comando.
• Gestión de contenedores: integración de Docker y Docker Compose para la orquestación de servicios
• Soporte Multi-Backend: Compatible con una gran variedad de motores LLM y formatos de modelos (GGUF, SafeTensors, etc).
• Integración de servicios: servicios API preconfigurados e interfaces frontales que funcionan conjuntamente
• Herramientas de desarrollo: proporciona una completa cadena de herramientas de desarrollo local.
• Configuración flexible: admite componentes de servicio y opciones de configuración personalizados.
• Certificados SSL: compatibilidad integrada con Certbot para facilitar la configuración del acceso HTTPS.
• Migración de entornos: admite la exportación de configuraciones, lo que facilita la migración al entorno de producción.
• Gestión de la monitorización: Proporciona monitorización del estado del servicio y función de visualización de registros.
• Control de versiones: apoyo a la gestión de diferentes versiones de los componentes de los servicios de IA.

Utilizar la ayuda

1. Preparación medioambiental

1.1 Requisitos del sistema

• Sistema operativo: Compatible con Linux, MacOS o Windows WSL2
• Motor Docker 20.10+
• Docker Compose 1.18.0+
• Node.js 16+ (opcional, para el método de instalación npm)

1.2 Instalación de Harbor

# 方式1：使用npm安装
npm install -g @avlab/harbor
# 方式2：使用curl安装
curl -sfL https://get.harbor.ai | sh

2. Uso básico

2.1 Puesta en marcha de los servicios

# 初始化Harbor环境
harbor init
# 启动所有服务
harbor up
# 查看服务状态
harbor ps

2.2 Configuración del servicio

# 配置模型路径
harbor config set models.path /path/to/models
# 启用特定服务
harbor enable chatui
harbor enable api
# 禁用服务
harbor disable service-name

3. Funciones avanzadas

3.1 Configuración de certificados SSL

# 设置环境变量
export NGINX_SSL_CERT_FILENAME=fullchain.pem
export NGINX_SSL_CERT_KEY_FILENAME=privkey.pem
export CERTBOT_DOMAIN=your_domain.com
export CERTBOT_EMAIL=your@email.com
# 获取证书
harbor ssl setup

3.2 Configuración personalizada

# 导出配置
harbor eject
# 修改配置文件
vim harbor.yaml
# 使用自定义配置启动
harbor up -c custom-config.yaml

4. Procedimientos operativos comunes

4.1 Despliegue de nuevos servicios

1. Consulta la lista de servicios:harbor list
2. Habilite los servicios necesarios:harbor enable <service-name>
3. Configure los parámetros del servicio:harbor config set <param> <value>
4. Inicie el servicio:harbor up
5. Verifique el estado del servicio:harbor ps

4.2 Identificación del problema

# 查看服务日志
harbor logs <service-name>
# 检查服务状态
harbor status
# 重启服务
harbor restart <service-name>

5. Buenas prácticas

• Copias de seguridad periódicas de los archivos de configuración
• Gestión de configuraciones personalizadas con control de versiones
• Supervisión del uso de los recursos del servicio
• Mantener actualizados Harbor y los componentes relacionados
• Acelere el proceso de implantación con preajustes de proyectos

Servicios de IA instalables

usuario

Abrir WebUI ⦁︎ ComfyUI ⦁︎ LibreChat ⦁︎ HuggingFace ChatUI ⦁︎ Chat de lóbulos ⦁︎ Hollama ⦁︎ parllama ⦁︎ BionicGPT ⦁︎ Cualquier cosaLLM ⦁︎ Chat Nio

servicio back-end

Ollama ⦁︎ llama.cpp ⦁︎ vLLM ⦁︎ TabbyAPI ⦁︎ Motor Afrodita ⦁︎ mistral.rs ⦁︎ openedai-speech ⦁︎ faster-whisper-server ⦁︎ Parler ⦁︎ generación-inferencia de texto ⦁︎ LMDeploy ⦁︎ AirLLM ⦁︎ SGLang ⦁︎ KTransformers ⦁︎ SDK Nexa

Herramientas de ampliación

Banco Harbor ⦁︎ Impulso del puerto ⦁︎ SearXNG ⦁︎ Perplexica ⦁︎ Dify ⦁︎ Plandex ⦁︎ LiteLLM ⦁︎ LangFuse ⦁︎ Intérprete abierto ⦁ ︎cloudflared ⦁︎ cmdh ⦁︎ tela ⦁︎ txtai RAG ⦁︎ TextGrad ⦁︎ Ayudante ⦁︎ aichat ⦁︎ omnichain ⦁︎ lm-evaluation-harness ⦁︎ JupyterLab ⦁︎ ol1 ⦁︎ OpenHands ⦁︎ LitLytics ⦁︎ Repopack ⦁︎ n8n ⦁︎ Perno.nuevo ⦁︎ Abrir conductos WebUI ⦁︎ Qdrant ⦁︎ K6 ⦁︎ Promptfoo ⦁︎ Página web ⦁︎ OmniParser ⦁︎ Flowise ⦁︎ Langflow ⦁︎ OptiLLM

Ver también Documentación de servicio Obtenga una breve descripción de cada servicio.

Pasos detallados para instalar Open WebUI con Harbor

1. Preparación previa

• Asegúrese de que Docker y Docker Compose están instalados
• Asegúrese de que la CLI de Harbor está correctamente instalada.
• Asegúrese de que el sistema cumple los requisitos básicos (se recomiendan 8 GB o más de RAM).

2. Inicialización del entorno Harbor

# 初始化Harbor环境
harbor init
# 验证Harbor环境
harbor doctor

3. Instalación y configuración de Open WebUI

3.1 Habilitar Servicios WebUI

# 启用Open WebUI服务
harbor enable webui

3.2 Configuración de los parámetros básicos (opcional)

# 配置WebUI版本（如果需要指定特定版本）
harbor webui version <version>
# 配置WebUI端口（默认为8080）
harbor config set webui.port <port_number>

4. Activación de los servicios

# 启动所有已启用的服务，包括WebUI
harbor up
# 或者仅启动WebUI服务
harbor up webui

5. Verificación de la instalación

• Vaya a http://localhost:8080 (o a cualquier otro puerto que haya configurado)
• Comprueba el estado del servicio:

harbor ps

6. Comandos comunes de gestión

Comprobar el estado del servicio

# 查看所有运行中的服务
harbor ps
# 查看WebUI日志
harbor logs webui

gestión de servicios

# 停止WebUI服务
harbor stop webui
# 重启WebUI服务
harbor restart webui
# 更新WebUI版本
harbor webui version latest
harbor restart webui

7. Integración de Ollama (opcional)

Si desea conectarse a Ollama utilizando WebUI:

# 启用Ollama服务
harbor enable ollama
# 重启服务
harbor restart

8. Solución de problemas comunes

Comprobación del estado del servicio

harbor doctor

Ver mensajes de error específicos

harbor logs webui

Resolución de conflictos portuarios

Si el puerto 8080 está ocupado:

# 修改WebUI端口
harbor config set webui.port 8081
harbor restart webui

9. Ubicación del archivo de configuración

• Fichero principal de configuración:~/.harbor/.env
• Configuración WebUI:~/.harbor/open-webui/

10. Recomendaciones para las copias de seguridad

# 导出当前配置
harbor eject > harbor-backup.yaml

Advertencias:

1. Asegúrese de que el sistema dispone de recursos suficientes para ejecutar el servicio.
2. El primer arranque puede tardar algún tiempo en descargar la imagen
3. Si tiene problemas con los permisos, compruebe la configuración de permisos de Docker
4. Se recomienda realizar copias de seguridad periódicas de los archivos de configuración
5. Mantener Harbor y los servicios relacionados actualizados a la última versión

开始使用：
1. 完成安装后，打开浏览器访问 http://localhost:8080
2. 首次访问时会要求进行基本设置
3. 可以开始使用Open WebUI进行AI对话了
需要帮助时可以使用：
```bash
harbor help webui