DeepSeek-R1 WebGPU: запустите DeepSeek R1 1.5B локально в вашем браузере!

Общее введение

DeepSeek-R1 WebGPU - это передовая модель искусственного интеллекта, предоставляемая webml-сообществом на платформе Hugging Face Spaces, которая использует технологию WebGPU, позволяя пользователям запускать сложные модели искусственного интеллекта прямо в браузере. Модель основана на DeepSeek-R1 и предназначена для задач вывода, обеспечивая эффективные и локализованные возможности обработки ИИ. Пользователям не нужно устанавливать дополнительное программное обеспечение, достаточно иметь поддержку WebGPU в браузере, чтобы воспользоваться такими передовыми функциями ИИ, как математические рассуждения, генерация кода и ответы на вопросы, что делает его идеальным для образования, исследований и разработчиков.

Благополучие:Развертывание модели DeepSeek-R1 с открытым исходным кодом в режиме онлайн с использованием бесплатных мощностей GPU(API)

Список функций

• Запуск моделей искусственного интеллекта в браузере: Не требуется загрузка, достаточно иметь современный браузер.
• Поддержка ускорения WebGPU: Использование графических процессоров для эффективных вычислений и повышения производительности.
• Многозадачный искусственный интеллект: Включает задания по математике, созданию кода и пониманию сложных текстов.
• Интерактивный интерфейс чата: Пользователи могут взаимодействовать с моделью непосредственно из интерфейса.
• Регистрация не требуется: Готовый к использованию и упрощенный пользовательский интерфейс.

Использование помощи

Как использовать DeepSeek-R1 WebGPU

Проверка совместимости и подготовка:
Во-первых, убедитесь, что ваш браузер поддерживает WebGPU. В настоящее время наиболее распространенным браузером, поддерживающим WebGPU, является Google Chrome (версия 88 и выше). Вы можете убедиться в этом, зайдя в экспериментальную функцию Chrome (chrome://flags/) и включив WebGPU.

Посетите веб-сайт:

1. Откройте браузер и перейдите по ссылкеОбнимающиеся лица.
2. После загрузки страницы перед вами открывается чистый пользовательский интерфейс, содержащий поле ввода и область вывода.

Рассуждения с моделями:

• Введите вопрос или задачу: Введите в поле ввода проблему или задачу, которую вы хотите решить с помощью модели. Это может быть математическая задача, генерация программного кода или любая задача, требующая текстовых рассуждений.
  • Пример ввода:计算1000阶乘的最后一位数字 возможно 编写一个Python函数来计算斐波那契数列.
• Представление мандатов: Нажмите кнопку Отправить или клавишу Enter, чтобы отправить данные. Модель начнет обрабатывать ваш запрос, что может занять несколько секунд в зависимости от сложности задачи.
• Посмотреть результаты: Результаты отображаются в области вывода. В зависимости от характера задачи модель выдает подробные шаги или прямые результаты.

Оптимизируйте впечатления:

• Настройка параметров модели: Хотя текущий интерфейс относительно прост, в будущем в нем могут появиться опции для настройки параметров, таких как температура (для контроля случайности генерируемого текста) или максимальная длина ответа.
• пробуйте снова и снова: Если вы не удовлетворены результатами, вы можете скорректировать вопросы или попробовать другие способы самовыражения.

ВОПРОСЫ И ОТВЕТЫ:

• Что делать, если мой браузер не поддерживает WebGPU? - Рекомендуется обновить браузер или использовать браузер с поддержкой WebGPU, например последнюю версию Chrome.
• Отклик модели слишком медленный? - Убедитесь, что у вас хорошее интернет-соединение и что настройки GPU в вашем браузере не отключены.

Оговорки:

• Поскольку модель работает в браузере, качество и скорость вывода могут зависеть от производительности устройства и состояния сети.
• Обратите внимание, что использование любой онлайн-модели искусственного интеллекта регулируется условиями ее использования и политикой конфиденциальности.

Учебное пособие по развертыванию DeepSeek-R1 WebGPU

DeepSeek R1 WebGPU - это процессор на основе "обнимающихся лиц". Transformers.js DeepSeek R1 WebGPU - это пример модели глубокого обучения, призванный показать, как эффективно запускать модели глубокого обучения в браузере. Проект использует технологию WebGPU, что позволяет значительно ускорить вывод моделей, до 100 раз быстрее, чем WASM. DeepSeek R1 WebGPU в основном используется для задач обработки естественного языка и поддерживает широкий спектр предварительно обученных моделей, которые могут быть запущены непосредственно в браузере без сервера.

Начало работы
Выполните следующие действия, чтобы настроить и запустить приложение.

1. Клонирование репозиториев
   Клонируйте репозиторий примера с GitHub:

git clone https://github.com/huggingface/transformers.js-examples.git

2. Перейдите в каталог проекта
   Переключите рабочий каталог на папку deepseek-r1-webgpu:

cd transformers.js-examples/deepseek-r1-webgpu

3. Установка зависимостей
   Используйте npm для установки необходимых зависимостей:

npm i

4. Запуск сервера разработки
   Запустите сервер разработки:

npm run dev

Теперь приложение должно быть запущено локально. Откройте браузер и посетите http://localhost:5173 Сделайте вид.