Xiaozhi AI Chatbot: Construye tu compañero de chat AI, diálogo de voz fácil e interacción inteligente.

Introducción general

Xiaozhi AI Chatbot es un proyecto de código abierto basado en la placa de desarrollo ESP32, diseñado para ayudar a los usuarios a construir su propio compañero de chat de IA. El proyecto fue desarrollado por Shrimp y se utiliza principalmente con fines didácticos para ayudar a más personas a iniciarse en el desarrollo de hardware de IA y comprender cómo aplicar el gran modelo de lenguaje a dispositivos de hardware reales. El proyecto admite funciones de reconocimiento de voz y diálogo en varios idiomas, como mandarín, cantonés, inglés, japonés y coreano. Los usuarios pueden aprender a desarrollar con ESP-IDF y experimentar las diversas funciones de los chatbots de IA a través de este proyecto.

Xiaozhi AI chatbot portado a PC: https://github.com/Huang-junsen/py-xiaozhi

Xiaozhi AI chatbot portado a Android: https://github.com/TOM88812/xiaozhi-android-client

Tutorial de configuración del servicio backend:xiaozhi-esp32-server: servicio backend de código abierto del chatbot de IA Xiaozhi

Lista de funciones

• Wi-Fi / ML307 Cat.1 4G: Admite conectividad Wi-Fi y comunicaciones 4G.
• despertar con voz: Admite la función de despertador por voz sin conexión.
• reconocimiento multilingüe: Admite el reconocimiento de voz en cinco idiomas: mandarín, cantonés, inglés, japonés y coreano.
• reconocimiento de vozIdentifica quién grita el nombre de AI.
• Modelo grande TTSCompatible con la función de conversión de texto a voz de Volcano Engine o CosyVoice.
• Modelo grande LLM: Soporta Qwen 2.5 72B o el modelo de lenguaje grande de la API beanbag.
• Funciones personalizadas: Señales y tonos configurables para crear roles personalizados.
• memoria a corto plazoAuto-resumen después de cada ronda de diálogo.
• pantalla de visualización: Admite pantallas OLED o LCD para mostrar la intensidad de la señal o el contenido de los diálogos.
• Soporte de hardware: Soporta una amplia gama de hardware como Litronix-Realistic ESP32-S3 placa de desarrollo, Loxin ESP32-S3-BOX3, M5Stack CoreS3, y más.

Utilizar la ayuda

Proceso de instalación

1. Preparación HardwareAsegúrese de que dispone del hardware necesario, como la placa de desarrollo ESP32, el módulo de micrófono, el módulo de altavoz y la pantalla.
2. Descargar FirmwareVisita la página GitHub del proyecto para descargar la última versión del firmware.
3. Grabación de firmwareUtilice la herramienta Flash para grabar el firmware en la placa de desarrollo ESP32. Los pasos específicos son los siguientes:
   • Conecte la placa de desarrollo ESP32 al PC.
   • Abra la herramienta Flash y seleccione el archivo de firmware descargado.
   • Pulsa el botón "Grabar" y espera a que se complete la grabación.
4. Configurar la redUna vez finalizada la grabación, pulsa el botón BOOT de la placa de desarrollo para entrar en el modo de configuración de red y conectarte a una red Wi-Fi o 4G.
5. Instalación de dependenciasInstale las dependencias de software necesarias, como el entorno de desarrollo ESP-IDF, de acuerdo con la documentación del proyecto.
6. Proyectos en cursoDespués de completar los pasos anteriores, ejecute el proyecto y comience a experimentar la función de chat AI.

Instrucciones de uso

1. despertar con vozDi la palabra "despertar" en el micrófono para despertar al chatbot.
2. diálogo de voz: Después de despertarte, puedes mantener un diálogo de voz directamente con la IA, compatible con varios idiomas.
3. Funciones personalizadas: Configuración de señales y tonos de caracteres personalizados mediante archivos de configuración.
4. Función de visualización: Visualiza el contenido del diálogo y la intensidad de la señal en la pantalla OLED o LCD.
5. reconocimiento de vozLa inteligencia artificial es capaz de reconocer quién le llama por su nombre y darle una respuesta personalizada.
6. memoria a corto plazoLa IA realiza un auto-resumen después de cada ronda de diálogo para mejorar la experiencia de diálogo.

Procedimiento de funcionamiento detallado

1. Llamada de atención y diálogo::
   • Asegúrese de que el dispositivo está conectado a la red.
   • Di una palabra de despertador en el micrófono, como "Xiaozhi", y el dispositivo pasará al modo de espera.
   • Diga su pregunta o comando y la IA hará el reconocimiento de voz y responderá.
2. Configuración personalizada de funciones::
   • Abra el archivo de configuración y busque la sección Role Settings.
   • Introduce las señales personalizadas y los parámetros de tono y guarda el archivo.
   • Reinicie el dispositivo y la nueva configuración de roles surtirá efecto.
3. Uso de la pantalla::
   • Cuando se activa el dispositivo, la pantalla muestra la intensidad actual de la señal de red.
   • Durante el diálogo, la pantalla muestra el contenido del mismo para facilitar su visualización.
4. función de reconocimiento de voz::
   • En el archivo de configuración, establezca los parámetros de reconocimiento de voz.
   • Cuando se activa, el dispositivo reconoce automáticamente la huella vocal del interlocutor y ofrece una respuesta personalizada.
5. función de la memoria a corto plazo::
   • Después de cada ronda de diálogo, la IA resumirá y mejorará automáticamente la experiencia de diálogo.
   • Los parámetros de resumen pueden ajustarse en el archivo de configuración para optimizar el efecto memoria.