FastDeploy - высокопроизводительный инструмент Baidu для обоснования и развертывания больших моделей

Что такое FastDeploy?

FastDeploy - это высокопроизводительный инструмент для выводов и развертывания от Baidu, предназначенный для больших языковых моделей (LLM) и визуальных языковых моделей (VLM). FastDeploy разработан на основе фреймворка PaddlePaddle, поддерживает различные аппаратные платформы (например, NVIDIA GPU, Kunlun XPU и т.д.) и оснащен такими функциями, как балансировка нагрузки, количественная оптимизация и распределенные выводы, FastDeploy совместим с API OpenAI и vLLM интерфейсы для поддержки локальных и обслуживаемых рассуждений, упрощающие процесс развертывания больших моделей. В последней версии, FastDeploy 2.0, реализована технология 2-битного квантования для дальнейшей оптимизации производительности и поддержки эффективного развертывания больших моделей.

Основные возможности FastDeploy

• Эффективное развертывание рассужденийОн поддерживает различные аппаратные платформы, такие как NVIDIA GPU, Kunlun Core XPU и т.д., и предоставляет функцию развертывания в один клик, чтобы упростить процесс развертывания больших моделей.
• оптимизация производительности: Значительное повышение скорости вывода модели с помощью методов квантования (например, 2-битного квантования), оптимизации CUDA Graph и спекулятивного декодирования.
• распределённый вывод: Поддержка крупномасштабных распределенных рассуждений, оптимизация эффективности связи и повышение эффективности рассуждений для крупномасштабных моделей.
• Балансировка нагрузки и составление расписанияОпределение нагрузки в реальном времени и распределенное планирование балансировки нагрузки на основе Redis для оптимизации производительности кластера и обеспечения стабильной работы системы при высокой нагрузке.
• юзабилити: Обеспечивает чистый Python-интерфейс и подробную документацию, чтобы пользователи могли быстро приступить к работе.
• Методы 2-битного квантованияВнедрение 2-битного квантования значительно сокращает объем памяти и требования к аппаратным ресурсам, позволяя развертывать сотни миллиардов моделей на уровне параметров на одной карте.
• совместимостьОн совместим с API OpenAI и интерфейсом vLLM и поддерживает как локальные, так и обслуживаемые рассуждения. Для выполнения локальных рассуждений достаточно 4 строк кода, а для запуска сервиса - 1 строки команды.

Адрес официального сайта FastDeploy

• Веб-сайт проекта:: https://paddlepaddle.github.io/FastDeploy/
• Репозиторий GitHub:: https://github.com/PaddlePaddle/FastDeploy

Как использовать FastDeploy

• Установка зависимостей: Установите раму Flying Paddle Frame и FastDeploy:

pip install paddlepaddle fastdeploy

• Подготовьте модель:Загрузите и подготовьте файл модели (например, предварительно обученную модель или преобразованную модель).
• локальный вывод: Локальные рассуждения с интерфейсами Python:

from fastdeploy import inference

# 加载模型
model = inference.Model("path/to/model")

# 准备输入数据
input_data = {"input_ids": [1, 2, 3], "attention_mask": [[1, 1, 1]]}

# 进行推理
result = model.predict(input_data)
print(result)

• Сервис-ориентированное развертывание: Запустите службу для обоснования:

fastdeploy serve --model path/to/model --port 8080

• оптимизация производительности: Оптимизация моделей с использованием количественных методов:

from fastdeploy import quantization

quantized_model = quantization.quantize_model("path/to/model", "path/to/quantized_model", quantization_type="2-bit")

Основные преимущества FastDeploy

• Высокопроизводительные рассужденияТехнология компании основана на квантовании, CUDA Graph и других технологиях, позволяющих значительно повысить скорость вычислений, а также поддерживает несколько аппаратных платформ, чтобы в полной мере использовать производительность оборудования.
• Эффективное развертывание: Предоставляет чистый интерфейс Python и инструменты командной строки для поддержки собственных и обслуживаемых рассуждений и упрощения процесса развертывания.
• Оптимизация ресурсовНовейшее дополнение к системе - технология 2-битного квантования, которая значительно сокращает объем графической памяти, поддерживает развертывание одной карты в гипермасштабных моделях и оптимизирует использование ресурсов кластера с помощью балансировки нагрузки.
• юзабилитиИнтерфейс прост и хорошо документирован для быстрого запуска, совместим с API OpenAI и интерфейсами vLLM, а также поддерживает быстрый запуск сервисов.
• Применение нескольких сценариевШироко применяется для обработки естественного языка, мультимодальных приложений, развертывания промышленных систем, академических исследований и корпоративных приложений для удовлетворения различных потребностей.

Для кого предназначен FastDeploy

• Разработчики предприятийКорпоративные разработчики быстро развертывают крупные модели, оптимизируют ресурсы для снижения затрат и помогают повысить эффективность корпоративных служб.
• Ученые и исследователи данных: Высокопроизводительные эксперименты с выводами и мультимодальные исследования исследователей для поддержки эффективной оптимизации моделей и экспериментов.
• системный архитектор: Архитектор отвечает за проектирование крупномасштабных распределенных систем вывода и оптимизацию балансировки нагрузки для обеспечения стабильной работы системы.
• Разработчики приложений искусственного интеллекта: Разработчики разрабатывают приложения для обработки естественного языка и мультимодальные приложения, чтобы повысить производительность приложений и оптимизировать работу пользователей.
• Академические исследователиУченые изучают оптимизацию моделей и мультимодальные методы, чтобы облегчить проведение эффективных экспериментов и продвинуть академические исследования.