Weebo: голосовой чатбот реального времени, обеспечивающий диалог на естественном языке

Общее введение

Weebo - это голосовой чатбот с открытым исходным кодом, который использует Шепот Small для распознавания речи, Llama 3.2 для генерации естественного языка и Kokoro-82M для синтеза речи. Проект, разработанный Аманвиром Пархаром, нацелен на создание эффективного решения для голосового диалога, работающего на "родных" устройствах. Weebo поддерживает широкий диапазон голосов и плавно генерирует ответы в реальном времени для широкого спектра сценариев приложений, требующих голосового взаимодействия.

Список функций

• Распознавание речи в реальном времени: эффективная обработка речи в текст с помощью модели Whisper Small.
• Генерация естественного языка: генерируйте ответы на естественном языке с помощью модели Llama 3.2.
• Синтез речи: преобразование текста в речь с помощью модели Kokoro-82M.
• Поддержка нескольких звуков: обеспечивает несколько вариантов звукового сопровождения для улучшения восприятия пользователем.
• Работает локально: нет необходимости полагаться на облачные сервисы, вся обработка выполняется на локальном устройстве.
• Открытый исходный код: код открыт для общественности, что позволяет пользователям свободно изменять и расширять функциональность.

Использование помощи

Процесс установки

1. Загрузите нужную модель:
   • Скачать файл модели Kokoro-82M kokoro-v0_19.onnx и поместите его в папку проекта.
   • пользоваться Оллама Инструмент использует модель Llama 3.2.
2. Клонируйте код проекта Weebo:

   git clone https://github.com/amanvirparhar/weebo.git
cd weebo

3. Установите зависимость:

   pip install -r requirements.txt

4. Запустите чатбота:

   python main.py

Инструкция по применению

1. После запуска программы Weebo начнет прослушивать голосовой ввод.
2. Пользователи могут говорить естественным тоном, а Weebo будет генерировать голосовой ответ после небольшой паузы.
3. нажмите Ctrl+C Программу можно остановить.

Основные функции

• распознавание речиWeebo использует модель Whisper Small для распознавания речи и может точно преобразовать речь пользователя в текст.
• создание естественного языка: Используя модель Llama 3.2, Weebo понимает речь пользователя и генерирует ответ на естественном языке.
• синтез речи: Используя модель Kokoro-82M, Weebo преобразует сгенерированный текстовый ответ в речь и воспроизводит ее через громкоговоритель.
• Многоголосая поддержка: Пользователи могут выбирать различные модели звука в профиле для удовлетворения различных требований.

Подробные шаги

1. Запуск Weebo: Беги python main.pyПрограмма начнет прослушивать голосовой ввод пользователя.
2. голосовой вводПользователи могут говорить прямо в микрофон, и Weebo автоматически распознает и обрабатывает голос.
3. Генерирование ответа: После распознавания речи Weebo генерирует ответ на естественном языке с помощью модели Llama 3.2 и преобразует его в речь с помощью модели Kokoro-82M.
4. Реакция на воспроизведениеСгенерированный голосовой ответ будет воспроизведен через динамики, и пользователь сможет услышать ответ Weebo.
5. процедура остановки: Пресса Ctrl+C Weebo можно остановить в любой момент.

Выполнив описанные выше действия, пользователи смогут легко начать использовать Weebo для голосового диалога в реальном времени и ощутить естественное и плавное голосовое взаимодействие.