Harbor: 클릭 한 번으로 로컬 LLM 개발 환경을 배포하고 AI 서비스를 쉽게 관리 및 실행할 수 있는 컨테이너화된 도구 세트입니다.

일반 소개

Harbor는 로컬 AI 개발 환경의 배포와 관리를 간소화하는 데 중점을 둔 혁신적인 컨테이너형 LLM 도구 세트입니다. 개발자는 간결한 명령줄 인터페이스(CLI)와 지원 애플리케이션을 통해 클릭 한 번으로 LLM 백엔드, API 인터페이스, 프런트엔드 인터페이스 등 모든 AI 서비스 구성 요소를 시작하고 관리할 수 있습니다. 오픈 소스 프로젝트인 Harbor는 LLM 애플리케이션을 빠르게 구축하고 실험해야 하는 개발자에게 특히 적합합니다. 주류 AI 모델과 서비스를 지원할 뿐만 아니라 유연한 구성 옵션과 완벽한 툴체인을 제공하여 개발자가 환경 구성보다는 애플리케이션 개발에 집중할 수 있도록 지원하며, Apache 2.0 오픈 소스 프로토콜을 채택하고 커뮤니티 지원이 활발하며 GitHub에서 770개 이상의 별표 라벨을 받은 Harbor는 많은 개발자가 인정하고 사용하고 있습니다.

 

 

기능 목록

• 원클릭 배포: 명령 한 번으로 완전한 LLM 서비스 환경을 시작하세요.
• 컨테이너 관리: 서비스 오케스트레이션을 위한 Docker와 Docker Compose의 통합
• 멀티 백엔드 지원: 다양한 LLM 엔진 및 모델 형식(GGUF, 세이프텐서 등)과 호환됩니다.
• 서비스 통합: 사전 구성된 API 서비스와 프런트엔드 인터페이스가 함께 작동합니다.
• 개발 도구: 완벽한 로컬 개발 도구 체인을 제공합니다.
• 구성 유연성: 사용자 지정 서비스 구성 요소 및 구성 옵션 지원
• SSL 인증서: HTTPS 액세스를 쉽게 구성할 수 있는 기본 제공 Certbot 지원
• 환경 마이그레이션: 프로덕션 환경으로 쉽게 마이그레이션할 수 있는 구성 내보내기 지원
• 모니터링 관리: 서비스 상태 모니터링 및 로그 보기 기능을 제공합니다.
• 버전 관리: 다양한 버전의 AI 서비스 구성 요소 관리 지원

 

도움말 사용

1. 환경 준비

1.1 시스템 요구 사항

• 운영 체제: Linux, MacOS 또는 Windows WSL2 지원
• Docker 엔진 20.10+
• 도커 컴포즈 1.18.0+
• Node.js 16+(선택 사항, npm 설치 방법의 경우)

1.2 하버 설치

# 方式1：使用npm安装
npm install -g @avlab/harbor
# 方式2：使用curl安装
curl -sfL https://get.harbor.ai | sh

2. 기본 사용

2.1 서비스 시작

# 初始化Harbor环境
harbor init
# 启动所有服务
harbor up
# 查看服务状态
harbor ps

2.2 서비스 구성

# 配置模型路径
harbor config set models.path /path/to/models
# 启用特定服务
harbor enable chatui
harbor enable api
# 禁用服务
harbor disable service-name

3. 고급 기능

3.1 SSL 인증서 구성

# 设置环境变量
export NGINX_SSL_CERT_FILENAME=fullchain.pem
export NGINX_SSL_CERT_KEY_FILENAME=privkey.pem
export CERTBOT_DOMAIN=your_domain.com
export CERTBOT_EMAIL=your@email.com
# 获取证书
harbor ssl setup

3.2 사용자 지정 구성

# 导出配置
harbor eject
# 修改配置文件
vim harbor.yaml
# 使用自定义配置启动
harbor up -c custom-config.yaml

4. 일반적인 운영 절차

4.1 새로운 서비스 배포

1. 서비스 목록을 확인하세요:harbor list
2. 필요한 서비스를 사용 설정합니다:harbor enable <service-name>
3. 서비스 매개변수를 구성합니다:harbor config set <param> <value>
4. 서비스를 시작합니다:harbor up
5. 서비스 상태를 확인합니다:harbor ps

4.2 문제 식별

# 查看服务日志
harbor logs <service-name>
# 检查服务状态
harbor status
# 重启服务
harbor restart <service-name>

5. 모범 사례

• 구성 파일의 정기 백업
• 버전 관리로 사용자 지정 구성 관리하기
• 서비스 리소스 사용량 모니터링
• Harbor 및 관련 구성 요소를 최신 상태로 유지
• 프로젝트 사전 설정으로 배포 프로세스 가속화

 

설치 가능한 AI 서비스

사용자

WebUI 열기 ⦁︎ ComfyUI ⦁︎ LibreChat ⦁︎ 허깅페이스 채팅UI ⦁︎ 로브 채팅 ⦁︎ Hollama ⦁︎ parllama ⦁︎ 바이오닉GPT ⦁︎ AnythingLLM ⦁︎ 채팅 니오

백엔드 서비스

Ollama ⦁︎ llama.cpp ⦁︎ vLLM ⦁︎ TabbyAPI ⦁︎ 아프로디테 엔진 ⦁︎ mistral.rs ⦁︎ 오픈다이 스피치 ⦁︎ 빠른 위스퍼 서버 ⦁︎ Parler ⦁︎ 텍스트 생성 추론 ⦁︎ LMDeploy ⦁︎ AirLLM ⦁︎ SGLang ⦁︎ KT트랜스포머 ⦁︎ Nexa SDK

확장 도구

하버 벤치 ⦁︎ 항구 부스트 ⦁︎ SearXNG ⦁︎ 퍼플렉시카 ⦁︎ Dify ⦁︎ Plandex ⦁︎ LiteLLM ⦁︎ LangFuse ⦁︎ 통역사 열기 ⦁ ︎클라우드 플레어 ⦁︎ cmdh ⦁︎ 패브릭 ⦁︎ txtai RAG ⦁︎ TextGrad ⦁︎ Aider ⦁︎ aichat ⦁︎ 옴니체인 ⦁︎ LM-평가-하네스 ⦁︎ 주피터랩 ⦁︎ ol1 ⦁︎ OpenHands ⦁︎ LitLytics ⦁︎ 재포장 ⦁︎ n8n ⦁︎ Bolt.new ⦁︎ 웹UI 파이프라인 열기 ⦁︎ Qdrant ⦁︎ K6 ⦁︎ 프롬프트푸 ⦁︎ 웹톱 ⦁︎ 옴니파서 ⦁︎ Flowise ⦁︎ Langflow ⦁︎ OptiLLM

참고 항목 서비스 문서 각 서비스에 대한 간략한 개요를 확인하세요.

 

Harbor를 사용하여 Open WebUI를 설치하는 자세한 단계

1. 사전 준비

• Docker 및 Docker Compose가 설치되어 있는지 확인합니다.
• Harbor CLI가 제대로 설치되었는지 확인합니다.
• 시스템이 기본 요구 사항을 충족하는지 확인합니다(8GB 이상의 RAM 권장).

2. 하버 환경 초기화하기

# 初始化Harbor环境
harbor init
# 验证Harbor环境
harbor doctor

3. Open WebUI 설치 및 구성

3.1 WebUI 서비스 활성화

# 启用Open WebUI服务
harbor enable webui

3.2 기본 매개변수 구성(선택 사항)

# 配置WebUI版本（如果需要指定特定版本）
harbor webui version <version>
# 配置WebUI端口（默认为8080）
harbor config set webui.port <port_number>

4. 서비스 활성화

# 启动所有已启用的服务，包括WebUI
harbor up
# 或者仅启动WebUI服务
harbor up webui

5. 설치 확인

• http://localhost:8080(또는 설정한 다른 포트)로 이동합니다.
• 서비스 상태를 확인합니다:

harbor ps

6. 일반적인 관리 명령

서비스 상태 확인

# 查看所有运行中的服务
harbor ps
# 查看WebUI日志
harbor logs webui

서비스 관리

# 停止WebUI服务
harbor stop webui
# 重启WebUI服务
harbor restart webui
# 更新WebUI版本
harbor webui version latest
harbor restart webui

7. 올라마 통합(선택 사항)

WebUI를 사용하여 Ollama에 연결하려는 경우:

# 启用Ollama服务
harbor enable ollama
# 重启服务
harbor restart

8. 일반적인 문제 해결

서비스 상태 확인

harbor doctor

특정 오류 메시지 보기

harbor logs webui

포트 충돌 해결

포트 8080이 사용 중인 경우:

# 修改WebUI端口
harbor config set webui.port 8081
harbor restart webui

9. 구성 파일 위치

• 기본 구성 파일:~/.harbor/.env
• 웹UI 구성:~/.harbor/open-webui/

10. 백업 권장 사항

# 导出当前配置
harbor eject > harbor-backup.yaml

주의:

1. 시스템에 서비스를 실행할 수 있는 충분한 리소스가 있는지 확인합니다.
2. 처음 부팅하면 이미지를 다운로드하는 데 다소 시간이 걸릴 수 있습니다.
3. 권한 문제가 발생하면 Docker 권한 설정을 확인하세요.
4. 구성 파일을 정기적으로 백업하는 것이 좋습니다.
5. Harbor 및 관련 서비스를 최신 버전으로 업데이트하세요.

开始使用：
1. 完成安装后，打开浏览器访问 http://localhost:8080
2. 首次访问时会要求进行基本设置
3. 可以开始使用Open WebUI进行AI对话了
需要帮助时可以使用：
```bash
harbor help webui