Deepseek R1 Enterprise Local Deployment Complete Manual (Manuel complet de déploiement local de Deepseek R1 Enterprise)

I. Introduction

Deepseek R1 est un modèle de langage large à usage général et à haute performance qui prend en charge le raisonnement complexe, le traitement multimodal et la génération de documents techniques. Ce manuel fournit un guide complet de déploiement local pour les équipes techniques, couvrant les configurations matérielles, les adaptations des puces nationales, les solutions de quantification, les solutions hétérogènes, les alternatives au cloud et les méthodes de déploiement pour le modèle 671B MoE complet.

II. configuration de base requise pour un déploiement local

1. tableau des paramètres du modèle et de la correspondance matérielle

2. l'analyse des besoins en puissance de calcul

Notes supplémentaires :

1. Exigences en matière de VRAMIl est recommandé de réserver 20%-30% de mémoire vidéo supplémentaire pour les déploiements réels afin de gérer les pics de demande lors du chargement et de l'utilisation du modèle.
2. Configuration multi-GPUPour les modèles à grande échelle (par exemple 32B+), il est recommandé d'utiliser plusieurs GPU en parallèle pour améliorer l'efficacité et la stabilité des calculs.
3. précision des calculsLe FP8 et le BF16 sont les principales précisions de calcul actuelles à haut rendement, qui peuvent garantir les performances du modèle tout en réduisant l'utilisation de la mémoire graphique.
4. Scénarios applicablesLes modèles avec différentes échelles de paramètres sont adaptés à des tâches de complexité différente, et les utilisateurs peuvent choisir la version appropriée du modèle en fonction de leurs besoins réels.
5. Déploiement en entreprisePour les modèles à très grande échelle tels que le 671B, il est recommandé de déployer une grappe de GPU de qualité professionnelle (par exemple, NVIDIA A100) pour répondre aux exigences de calcul à haute performance.

Programme national d'adaptation des puces et du matériel informatique

1. la dynamique de l'écopartenariat national

2) Configuration recommandée pour le matériel national

IV. solutions de déploiement dans le nuage

1. les fournisseurs nationaux de services d'informatique dématérialisée recommandés

2. canaux d'accès internationaux (nécessite un accès magique ou étranger à l'internet d'entreprise)

• NVIDIA NIM : Enterprise GPU Cluster Deployment (lien)
• Groq : raisonnement à très faible latence (lien)

V. Ollama+Déploiement d'Unsloth

1. le programme de quantification et la sélection des modèles

Adresse de téléchargement :

• Bibliothèque de modèles HuggingFace
• Débarbouillettes Description officielle de l'IA

2) Recommandations pour la configuration du matériel

3. les étapes du déploiement (exemple Linux)

1) Installation des outils dépendants :

# 安装 llama.cpp（用于合并分片文件）
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install llama.cpp

2) Télécharger et fusionner les éléments de modélisation :

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf

3. installer Ollama :

curl -fsSL https://ollama.com/install.sh | sh

4. créer le fichier modèle :

FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28  # 每块 RTX 4090 加载 7 层（共 4 卡）
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<|end▁of▁thinking $|>{{{ .Prompt }}}<|end▁of▁thinking|>"

5. exécuter le modèle :

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

4. l'optimisation des performances et les tests

• Faible utilisation du GPUMise à niveau de la mémoire à large bande passante (par exemple, DDR5 5600+).
• Espace d'échange étendu: :

sudo fallocate -l 100G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

Ordre de déploiement du sang 671B

• VLLM: :

vllm serve deepseek-ai/deepseek-r1-671b --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

• SGLang: :

python3 -m sglang.launch_server --model deepseek-ai/deepseek-r1-671b --trust-remote-code --tp 2

VI. notes et risques

1. alertes sur les coûts :

• Modèle 70BPour les utilisateurs de cartes graphiques : 3 cartes graphiques de 80G RAM ou plus (par exemple RTX A6000) sont nécessaires, ce qui n'est pas possible pour les utilisateurs d'une seule carte.
• Modèle 671BLes clusters 8xH100 sont requis pour les déploiements de centres de calcul uniquement.

2. les programmes alternatifs :

• Il est recommandé aux utilisateurs individuels d'utiliser des API basées sur le cloud (par exemple, Silicon Flow), qui ne nécessitent aucune maintenance et sont conformes.

3. la compatibilité du matériel national :

• Une version personnalisée du cadre est nécessaire (par exemple Rise CANN, MXMLLM).

VII. Annexe : Soutien technique et ressources

• L'ascension de HuaweiRise Cloud Services : Rise Cloud Services
• Mu Xi GPUL'expérience de l'API libre : L'expérience de l'API libre
• Blog de Lee Seok HanTutoriel de déploiement complet : Tutoriel de déploiement complet

VIII. programme GPUStack hétérogène

Projet Open Source GPUStack

https://github.com/gpustack/gpustack/

Outil de mesure des ressources de modélisation

• Analyseur GGUF(https://github.com/gpustack/gguf-parser-go) est utilisé pour calculer manuellement les besoins en mémoire vidéo.

GPUStack

Déploiement privé de la plate-forme complète DeepSeek

remarques finales

Deepseek R1 Le déploiement localisé nécessite des investissements en matériel et des seuils techniques extrêmement élevés, de sorte que les utilisateurs individuels doivent être prudents et que les entreprises doivent évaluer pleinement les besoins et les coûts. L'adaptation locale et les services en nuage permettent de réduire considérablement les risques et d'améliorer l'efficacité. La technologie n'a pas de limites, une planification rationnelle permet de réduire les coûts et d'accroître l'efficacité !

Calendrier mondial des canaux personnels d'entreprise

1. Recherche de la tour secrète
2. 360 Nano AI Search
3. Flux à base de silicium
4. Saut d'octet Moteur volcanique
5. Baidu cloud Chifan, un site web de réalité virtuelle
6. NVIDIA NIM
7. Groq
8. Feux d'artifice
9. Chutes
10. Github
11. POE
12. Curseur
13. Monica
14. lambda (lettre grecque Λλ)
15. Cérébras
16. Perplexité
17. Alibaba Cloud 100 Refinements

Pour les environnements nécessitant un accès magique ou étranger à l'Internet d'entreprise

Calendrier de l'aide aux entreprises de puces

Tableau 1 : Fournisseurs de services en nuage prenant en charge DeepSeek-R1

Tableau 2 : Entreprises soutenant DeepSeek-R1

Tableau 3 : Résumé des entreprises qui soutiennent DeepSeek-R1