Полное руководство по локальному развертыванию Deepseek R1 Enterprise

I. Введение

Deepseek R1 - это высокопроизводительная многоязыковая модель общего назначения, поддерживающая сложные рассуждения, мультимодальную обработку и генерацию технической документации. Данное руководство представляет собой полное руководство по локальному развертыванию для технических команд, охватывающее конфигурации оборудования, адаптацию отечественных чипов, решения по квантованию, гетерогенные решения, альтернативные варианты облачных вычислений и методы развертывания для полной модели 671B MoE.

II. Основные требования к конфигурации для локального развертывания

1. Таблица параметров модели и соответствия оборудования

2. анализ требований к вычислительной мощности

Дополнительные примечания:

1. Требования к памяти VRAMТребования к VRAM, указанные в таблице, являются минимальными, и рекомендуется выделить 20%-30% дополнительной видеопамяти для реальных развертываний, чтобы справиться с пиковыми нагрузками во время загрузки и работы модели.
2. Конфигурация с несколькими графическими процессорамиДля масштабных моделей (например, 32B+) рекомендуется использовать несколько GPU параллельно, чтобы повысить эффективность и стабильность вычислений.
3. точность расчетовFP8 и BF16 - это современные высокоэффективные вычислительные точности, которые могут гарантировать производительность модели при сокращении использования графической памяти.
4. Применимые сценарииМодели с различными шкалами параметров подходят для задач разной сложности, и пользователи могут выбрать подходящую версию модели в соответствии со своими реальными потребностями.
5. Развертывание предприятия: Для очень масштабных моделей, таких как 671B, рекомендуется использовать кластер GPU профессионального уровня (например, NVIDIA A100) для удовлетворения требований к высокой производительности вычислений.

III. Программа адаптации отечественных микросхем и аппаратных средств

1. Динамика внутреннего экопартнерства

2. Рекомендуемая конфигурация для национального оборудования

IV. Альтернативы облачного развертывания

1. рекомендуемые отечественные поставщики облачных услуг

2. международные каналы доступа (требуется магический или зарубежный корпоративный доступ в Интернет)

• NVIDIA NIM: Развертывание корпоративного кластера GPU (ссылка)
• Groq: рассуждения с ультранизкой задержкой (ссылка)

В. Оллама+Унслот развертывание

1. Программа квантификации и выбор модели

Адрес для скачивания:

• Библиотека моделей HuggingFace
• Расстелите салфетку Официальное описание AI

2. Рекомендации по конфигурации оборудования

3. Этапы развертывания (на примере Linux)

1. Установка зависимых инструментов:

# 安装 llama.cpp（用于合并分片文件）
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install llama.cpp

2. Загрузите и объедините части моделирования:

llama-gguf-split --merge DeepSeek-R1-UD-IQ1_M-00001-of-00004.gguf DeepSeek-R1-UD-IQ1_S.gguf

3. Установите Ollama:

curl -fsSL https://ollama.com/install.sh | sh

4. Создайте файл модели:

FROM /path/to/DeepSeek-R1-UD-IQ1_M.gguf
PARAMETER num_gpu 28  # 每块 RTX 4090 加载 7 层（共 4 卡）
PARAMETER num_ctx 2048
PARAMETER temperature 0.6
TEMPLATE "<|end▁of▁thinking $|>{{{ .Prompt }}}<|end▁of▁thinking|>"

5. запустите модель:

ollama create DeepSeek-R1-UD-IQ1_M -f DeepSeekQ1_Modelfile

4. Настройка и тестирование производительности

• Низкая загрузка графического процессора: Обновление памяти с высокой пропускной способностью (например, DDR5 5600+).
• Расширенное пространство подкачки::

sudo fallocate -l 100G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

Приказ о развертывании 671B с полной кровью

• VLLM::

vllm serve deepseek-ai/deepseek-r1-671b --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

• SGLang::

python3 -m sglang.launch_server --model deepseek-ai/deepseek-r1-671b --trust-remote-code --tp 2

VI. Примечания и риски

1. Оповещения о расходах:

• Модель 70B: Требуется 3 или более видеокарт с 80 Гб оперативной памяти (например, RTX A6000), для пользователей с одной картой не подходит.
• Модель 671BТребуется 8 кластеров 8xH100, только для развертывания в суперкомпьютерных центрах.

2. Альтернативные программы:

• Индивидуальным пользователям рекомендуется использовать облачные API (например, Silicon Flow), которые не требуют обслуживания и соответствуют требованиям.

3. совместимость с национальным оборудованием:

• Необходима адаптированная версия фреймворка (например, Rise CANN, MXMLLM).

VII. Приложение: Техническая поддержка и ресурсы

• Подъем Huawei: Rise Cloud Services
• Му Си GPU: Бесплатный опыт работы с API
• Блог Ли Сок Хана: Полное руководство по развертыванию

VIII. Гетерогенная программа GPUStack

Проект с открытым исходным кодом GPUStack

https://github.com/gpustack/gpustack/

Инструмент для измерения ресурсов моделирования

• Парсер GGUF(https://github.com/gpustack/gguf-parser-go) используется для ручного расчета требований к видеопамяти.

GPUStack

Частное развертывание полной платформы DeepSeek

заключительные замечания

Deepseek R1 Локальное развертывание требует чрезвычайно высоких инвестиций в оборудование и технических требований, поэтому индивидуальные пользователи должны быть осторожны, а корпоративные пользователи должны полностью оценить потребности и затраты. Благодаря локальной адаптации и облачным сервисам можно значительно снизить риски и повысить эффективность. Технологии не имеют границ, рациональное планирование позволяет сократить расходы и повысить эффективность!

Расписание персональных каналов глобальных предприятий

1. Поиск секретной башни
2. 360 Nano AI Search
3. Поток на основе кремния
4. Двигатель вулкана с байтовым переходом
5. Облако Baidu Chifan, сайт виртуальной виртуальной реальности
6. NVIDIA NIM
7. Groq
8. Фейерверк
9. Желоба
10. Github
11. POE
12. Курсор
13. Моника
14. лямбда (греческая буква Λλ)
15. Cerebras
16. Недоумение
17. Alibaba Cloud 100 Refinements

Для сред, требующих магического или иностранного корпоративного доступа в Интернет

График поддержки бизнеса чипов

Таблица 1: Облачные поставщики, поддерживающие DeepSeek-R1

Таблица 2: Предприятия, поддерживающие DeepSeek-R1

Таблица 3: Сводка предприятий, поддерживающих DeepSeek-R1