Weebo: un chatbot de voz en tiempo real que ofrece una experiencia de diálogo en lenguaje natural

Introducción general

Weebo es un chatbot de voz en tiempo real de código abierto que utiliza el Susurro Small para el reconocimiento de voz, Llama 3.2 para la generación de lenguaje natural y Kokoro-82M para la síntesis de voz. Desarrollado por Amanvir Parhar, el proyecto pretende ofrecer una solución eficaz de diálogo por voz que se ejecute en dispositivos nativos.Weebo admite una amplia gama de voces y genera sin problemas respuestas en tiempo real para un amplio abanico de escenarios de aplicación que requieren interacción por voz.

Lista de funciones

• Reconocimiento del habla en tiempo real: procesamiento eficiente de voz a texto mediante el modelo Whisper Small.
• Generación de lenguaje natural: Genera respuestas en lenguaje natural a través del modelo Llama 3.2.
• Síntesis de voz: conversión de texto a voz utilizando el modelo Kokoro-82M.
• Soporte multisonido: ofrece múltiples opciones de sonido para mejorar la experiencia del usuario.
• Se ejecuta localmente: no es necesario depender de servicios en la nube, todo el procesamiento se realiza en el dispositivo local.
• Código fuente abierto: el código está abierto al público, lo que permite a los usuarios modificar y ampliar libremente la funcionalidad.

Utilizar la ayuda

Proceso de instalación

1. Descargue el modelo deseado:
   • Descargar el modelo Kokoro-82M kokoro-v0_19.onnx y se coloca en la carpeta del proyecto.
   • utilizar Ollama La herramienta extrae el modelo Llama 3.2.
2. Clona el código del proyecto Weebo:

   git clone https://github.com/amanvirparhar/weebo.git
cd weebo

3. Instale la dependencia:

   pip install -r requirements.txt

4. Ejecuta el chatbot:

   python main.py

Instrucciones de uso

1. Tras iniciar el programa, Weebo empezará a escuchar la entrada de voz.
2. Los usuarios pueden hablar con naturalidad y Weebo generará una respuesta de voz tras una breve pausa.
3. pulse Ctrl+C El programa puede detenerse.

Funciones principales

• reconocimiento de vozWeebo utiliza el modelo Whisper Small para el reconocimiento de voz y es capaz de convertir con precisión la voz del usuario en texto.
• generación de lenguaje naturalWeebo: utilizando el modelo Llama 3.2, Weebo comprende la voz del usuario y genera una respuesta en lenguaje natural.
• síntesis de vozWeebo: utilizando el modelo Kokoro-82M, Weebo convierte la respuesta de texto generada en voz y la reproduce por el altavoz.
• Soporte multivocesLos usuarios pueden seleccionar diferentes modelos de sonido en el perfil para satisfacer diferentes requisitos de aplicación.

Pasos detallados

1. Lanzar Weebo: Ejecutar python main.pyEl programa empezará a escuchar la voz del usuario.
2. entrada de vozEl usuario puede hablar directamente al micrófono y Weebo reconocerá y procesará automáticamente la voz.
3. Generar una respuestaWeebo: tras reconocer el habla, Weebo genera una respuesta en lenguaje natural utilizando el modelo Llama 3.2 y la convierte en habla utilizando el modelo Kokoro-82M.
4. Respuesta de reproducción: La respuesta de voz generada se reproducirá a través de los altavoces y el usuario podrá escuchar la respuesta de Weebo.
5. procedimiento de parada: Prensa Ctrl+C Weebo puede detenerse en cualquier momento.

Con los pasos anteriores, los usuarios pueden empezar a utilizar fácilmente Weebo para el diálogo de voz en tiempo real y experimentar una interacción de voz natural y fluida.