BrowserAI: локальный запуск моделей ИИ в браузере с помощью WebGPU

Общее введение

BrowserAI - это инструмент с открытым исходным кодом, позволяющий запускать нативные модели искусственного интеллекта прямо в браузере. Разработанный командой Cloud-Code-AI, он поддерживает такие языковые модели, как Llama, DeepSeek и Kokoro. Пользователи могут выполнять такие задачи, как генерация текста, распознавание речи и преобразование текста в речь, через браузер без необходимости использования сервера или сложной настройки. Для ускорения вычислений используется технология WebGPU, а все данные обрабатываются локально для защиты конфиденциальности. BrowserAI прост и удобен в использовании, поэтому разработчики могут использовать его для создания приложений с искусственным интеллектом, а обычные пользователи также могут познакомиться с возможностями ИИ. Проект является бесплатным и открытым на GitHub, поэтому любой желающий может скачать код и использовать или улучшить его.

Текстовый диалог BrowserAI

Голосовой диалог BrowserAI

BrowserAI Text-to-Speech

Список функций

• Запускайте локальные модели ИИ в браузере без поддержки сервера.
• Поддерживается генерация текста, чтобы пользователи могли вводить его и получать ответ на естественном языке.
• Обеспечивает распознавание речи для преобразования аудио в текст.
• Поддерживает функцию преобразования текста в речь, превращая его в воспроизводимое аудио.
• Ускоренный с помощью WebGPU, он работает с производительностью, близкой к нативной.
• Предусмотрена автономная работа, и после первой загрузки подключение к Интернету не требуется.
• Открытый исходный код, поддержка разработчиков для настройки моделей и функций.

Использование помощи

Процесс установки

BrowserAI не требует традиционной установки, но требует подготовки среды и кода для запуска. Вот точные шаги:

1. Проверьте свой браузер
   • Используйте браузер с поддержкой WebGPU, например Chrome 113+ или Edge 113+. В адресной строке браузера введите chrome://gpu Проверьте, включен ли WebGPU.
   • Убедитесь, что ваше компьютерное оборудование поддерживает 16-битную операцию с плавающей запятой (некоторые модели требуют этого), и что обычный процессор справится с этой задачей, но GPU работает быстрее.
2. Код загрузки
   • Посетите сайт https://github.com/Cloud-Code-AI/BrowserAI.
   • Нажмите кнопку "Код" и выберите "Загрузить ZIP", чтобы загрузить, или воспользуйтесь командой git clone https://github.com/Cloud-Code-AI/BrowserAI.git.
   • Распакуйте файл или перейдите в папку.
3. Установка Node.js и зависимостей
   • Сначала установите Node.js, загрузив и установив его с официального сайта Node.js, а когда закончите, введите node -v Подтвердите версию.
   • Откройте терминал и перейдите в папку BrowserAI (например. cd BrowserAI).
   • импорт npm install Установите зависимости, этот процесс может занять несколько минут.
4. Начало реализации проектов
   • В терминале введите npm run devЗапустите локальный сервер.
   • Откройте браузер и введите http://localhost:3000(номер порта можно узнать в подсказке терминала) и войдите в интерфейс BrowserAI.

Как использовать основные функции

Суть BrowserAI заключается в запуске моделей искусственного интеллекта в браузере, что подробно описано ниже.

Функция 1: Генерация текста

• процедура
  1. После запуска интерфейс отображает окно выбора модели, которое по умолчанию имеет значение llama-3.2-1b-instruct и другие варианты.
  2. Нажмите "Загрузить модель" и подождите, пока модель загрузится (от нескольких секунд до нескольких минут, в зависимости от производительности компьютера).
  3. Введите в поле ввода текст, например "Какая сегодня погода?". , нажмите "Сгенерировать".
  4. Система генерирует такие ответы, как "Сегодня прекрасный день для прогулки". .
• Советы и рекомендации
  • Небольшие модели (например. TinyLlama-1.1B) быстро загружается и подходит для маломощных компьютеров.
  • Введите конкретный вопрос, чтобы получить более точный ответ, например "Напишите техническую статью из 50 слов".
• сценарий применения
  • Пишите первые наброски статей, составляйте диалоги или проверяйте навыки владения языком.

Функция 2: Распознавание речи

• процедура
  1. Выберите модель, поддерживающую распознавание речи, например whisper-tiny-en.
  2. Нажмите "Загрузить модель", чтобы загрузить модель.
  3. Нажмите на кнопку "Начать запись" и произнесите в микрофон, например, "Привет, BrowserAI".
  4. Нажмите "Остановить запись", подождите несколько секунд, и в интерфейсе появится расшифрованный текст, например "Привет, BrowserAI".
• Советы и рекомендации
  • Убедитесь, что микрофон работает правильно и что фоновый шум минимален, чтобы добиться лучших результатов.
  • Необязательные параметры return_timestamps Просмотрите временную метку каждого абзаца.
• сценарий применения
  • Записывайте совещания, расшифровывайте голосовые заметки или разрабатывайте приложения для голосового ввода.

Функция 3: преобразование текста в речь

• процедура
  1. опция kokoro-tts модель, нажмите кнопку "Загрузить модель".
  2. Введите текст, например "Добро пожаловать в BrowserAI".
  3. Выберите голос (например. af_bella) и скорость (по умолчанию 1,0), нажмите "Текст в речь".
  4. Создайте аудио и воспроизведите его автоматически или загрузите файл.
• Советы и рекомендации
  • Фразы звучат более естественно, а медленные скорости (например, 0,8) более понятны.
  • Протестируйте различные варианты голоса, чтобы подобрать наиболее подходящий тон.
• сценарий применения
  • Создавайте голосовые подсказки, генерируйте подкаст-клипы или дублируйте видео.

Особенность 4: Настройки для разработчиков

• процедура
  1. Загрузите файл модели, который вы хотите использовать (например, из Hugging Face), и поместите его в каталог проекта (см. README.md).
  2. компилятор src/index.tsДобавьте путь к модели.
  3. быть в движении npm run devЗагрузите новую модель.
• Советы и рекомендации
  • Убедитесь, что модель совместима с WebGPU и WebAssembly.
  • Если вы не знаете код, поднимите вопрос на GitHub, чтобы вам помогли.
• сценарий применения
  • Тестирование новых моделей, разработка пользовательских приложений ИИ.

В коде примера используется

Генерация текста

• Внедрение BrowserAI в проект:

  import { BrowserAI } from '@browserai/browserai';
  const ai = new BrowserAI();
  await ai.loadModel('llama-3.2-1b-instruct');
  const response = await ai.generateText('你好，今天天气如何？');
  console.log(response);

преобразование речи в текст

• Запись и расшифровка аудиозаписей:

  const ai = new BrowserAI();
  await ai.loadModel('whisper-tiny-en');
  await ai.startRecording();
  const audio = await ai.stopRecording();
  const text = await ai.transcribeAudio(audio);
  console.log(text);
  

предостережение

• спектакли: Большие модели (например. Llama-3.2-3b) Требуются компьютеры высокого класса, а для низкого класса рекомендуются небольшие модели.
• Использование в автономном режиме: Работает, даже если вы отключитесь от Интернета после первой загрузки, но вам нужно загрузить модель заранее.
• Поддержка общества: Проблемы могут быть добавлены Дискорд зондирование (компьютерный) файл.

BrowserAI - это просто и мощно. Просто следуйте инструкциям по настройке среды и ощутите удобство локального ИИ в браузере.