Deepseek R1 엔터프라이즈 로컬 배포 전체 매뉴얼

I. 소개

Deepseek R1은 복잡한 추론, 멀티모달 처리 및 기술 문서 생성을 지원하는 고성능 범용 대규모 언어 모델입니다. 이 매뉴얼은 기술 팀을 위한 완벽한 로컬 배포 가이드를 제공하며, 전체 671B MoE 모델에 대한 하드웨어 구성, 국내 칩 적응, 양자화 솔루션, 이기종 솔루션, 클라우드 대안 및 배포 방법을 다룹니다.

II. 로컬 배포를 위한 핵심 구성 요구 사항

1. 모델 매개변수 및 하드웨어 대응 표

2. 컴퓨팅 성능 요구 사항 분석

추가 참고 사항:

1. VRAM 요구 사항표에 나열된 VRAM 요구 사항은 최소 요구 사항이며, 모델 로드 및 작동 중 피크 수요를 처리하기 위해 실제 배포 시 20%-30%의 추가 비디오 메모리를 따로 확보하는 것이 좋습니다.
2. 멀티 GPU 구성대규모 모델(예: 32B+)의 경우 계산 효율성과 안정성을 향상시키기 위해 여러 개의 GPU를 병렬로 사용하는 것이 좋습니다.
3. 계산 정확도그래픽 메모리 사용량을 줄이면서 모델 성능을 보장할 수 있는 현재 주류 고효율 계산 정확도인 FP8 및 BF16입니다.
4. 적용 가능한 시나리오매개변수 스케일이 다른 모델은 복잡도가 다른 작업에 적합하며, 사용자는 실제 필요에 따라 적절한 모델 버전을 선택할 수 있습니다.
5. 엔터프라이즈 배포671B와 같은 초대형 모델의 경우 고성능 컴퓨팅 요구 사항을 충족하기 위해 전문가급 GPU 클러스터(예: NVIDIA A100)를 배포하는 것이 좋습니다.

III. 국내 칩 및 하드웨어 적응 프로그램

1. 국내 에코 파트너십 역학 관계

2. 국가별 하드웨어 권장 구성

IV. 클라우드 배포 대안

1. 국내 클라우드 서비스 제공업체 추천

2. 해외 액세스 채널(매직 또는 외국 기업 인터넷 액세스 필요)

• NVIDIA NIM: 엔터프라이즈 GPU 클러스터 배포(링크)
• Groq: 초저지연 추론(링크)

V. 올라마+언슬로스 배포

1. 정량화 프로그램 및 모델 선택

주소 다운로드:

• 허깅페이스 모델 라이브러리
• Unsloth AI 공식 설명

2. 하드웨어 구성 권장 사항

3. 배포 단계(Linux 예제)

1. 종속 도구 설치:

# 安装 llama.cpp（用于合并分片文件）
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install llama.cpp

2. 모델링 조각을 다운로드하여 병합합니다:

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf

3. Ollama를 설치합니다:

curl -fsSL https://ollama.com/install.sh | sh

4. 모델파일을 생성합니다:

FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28  # 每块 RTX 4090 加载 7 层（共 4 卡）
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<|end▁of▁thinking $|>{{{ .Prompt }}}<|end▁of▁thinking|>"

5. 모델을 실행합니다:

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

4. 성능 튜닝 및 테스트

• 낮은 GPU 사용률고대역폭 메모리 업그레이드(예: DDR5 5600+).
• 확장된 스왑 공간::

sudo fallocate -l 100G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

풀 블러드 671B 배포 주문

• VLLM::

vllm serve deepseek-ai/deepseek-r1-671b --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

• SGLang::

python3 -m sglang.launch_server --model deepseek-ai/deepseek-r1-671b --trust-remote-code --tp 2

VI. 참고 사항 및 위험

1. 비용 알림:

• 70B 모델80G RAM 그래픽 카드 3개 이상 필요(예: RTX A6000), 단일 카드 사용자에게는 제공되지 않습니다.
• 671B 모델8xH100 클러스터 필요, 슈퍼컴퓨팅 센터 배포 전용.

2. 대체 프로그램:

• 개인 사용자는 유지 관리가 필요 없고 규정을 준수하는 클라우드 기반 API(예: Silicon Flow)를 사용하는 것이 좋습니다.

3. 국가별 하드웨어 호환성:

• 프레임워크의 사용자 정의 버전이 필요합니다(예: Rise CANN, MXMLLM).

부록: 기술 지원 및 리소스

• 화웨이 라이즈: Rise 클라우드 서비스
• Mu Xi GPU: 무료 API 체험
• 이석한 블로그전체 배포 튜토리얼

VIII. 이기종 GPUStack 프로그램

GPUStack 오픈 소스 프로젝트

https://github.com/gpustack/gpustack/

리소스 측정 도구 모델링

• GGUF 파서(https://github.com/gpustack/gguf-parser-go)를 사용하여 비디오 메모리 요구 사항을 수동으로 계산합니다.

GPUStack

딥시크 전체 플랫폼 프라이빗 배포

결론

Deepseek R1 현지화된 배포에는 매우 높은 하드웨어 투자와 기술적 한계가 필요하므로 개인 사용자는 신중해야 하며, 기업 사용자는 요구 사항과 비용을 충분히 평가해야 합니다. 현지화된 적응과 클라우드 서비스를 통해 위험을 크게 줄이고 효율성을 개선할 수 있습니다. 기술에는 한계가 없으며 합리적인 계획을 통해 비용을 절감하고 효율성을 높일 수 있습니다!

글로벌 엔터프라이즈 개인 채널 일정

1. 비밀의 탑 검색
2. 360 나노 AI 검색
3. 실리콘 기반 흐름
4. 바이트 점프 볼케이노 엔진
5. 가상 가상 현실 웹사이트인 바이두 클라우드 치판(Chifan)
6. NVIDIA NIM
7. Groq
8. 불꽃놀이
9. 낙하산
10. Github
11. POE
12. 커서
13. Monica
14. 람다(그리스 문자 ΛΛ)
15. 뇌
16. 당혹감
17. 알리바바 클라우드 100 개선 사항

마법 또는 해외 기업 인터넷 액세스가 필요한 환경의 경우

칩 비즈니스 지원 일정

표 1: DeepSeek-R1을 지원하는 클라우드 벤더

표 2: DeepSeek-R1을 지원하는 엔터프라이즈

표 3: DeepSeek-R1을 지원하는 기업 요약