Xiaozhi AI Chatbot : créez votre compagnon de chat IA, un dialogue vocal facile et une interaction intelligente.

Introduction générale

Xiaozhi AI Chatbot est un projet open source basé sur la carte de développement ESP32, conçu pour aider les utilisateurs à construire leur propre compagnon de chat IA. Le projet a été développé par Shrimp et est principalement utilisé à des fins d'enseignement pour aider davantage de personnes à se lancer dans le développement de matériel d'IA et à comprendre comment appliquer le modèle de grand langage à des dispositifs matériels réels. Le projet prend en charge la reconnaissance vocale et les fonctions de dialogue dans plusieurs langues, notamment le mandarin, le cantonais, l'anglais, le japonais et le coréen. Les utilisateurs peuvent apprendre à développer avec ESP-IDF et expérimenter les différentes fonctions des chatbots d'IA grâce à ce projet.

Le chatbot Xiaozhi AI porté sur PC : https://github.com/Huang-junsen/py-xiaozhi

Le chatbot Xiaozhi AI porté sur Android : https://github.com/TOM88812/xiaozhi-android-client

Tutoriel de configuration du service backend :xiaozhi-esp32-server : Service backend open source pour le chatbot Xiaozhi AI

Liste des fonctions

• Wi-Fi / ML307 Cat.1 4GLe téléphone portable peut être utilisé pour la téléphonie mobile : il prend en charge la connectivité Wi-Fi et les communications 4G.
• se réveiller avec une voixLa fonction de réveil vocal hors ligne est prise en charge.
• reconnaissance multilingueLa reconnaissance vocale est possible en cinq langues : mandarin, cantonais, anglais, japonais et coréen.
• reconnaissance vocaleIdentification de la personne qui crie le nom de l'IA : Identifier la personne qui crie le nom de l'IA.
• Grand modèle TTSLa fonction de synthèse vocale de Volcano Engine ou de CosyVoice est prise en charge.
• Grand modèle LLMQwen 2.5 72B ou le grand modèle de langage de l'API "beanbag" est pris en charge.
• Rôles personnalisésLes rôles : des signaux et des tonalités configurables pour créer des rôles personnalisés.
• mémoire à court termeLes participants sont invités à rédiger des résumés après chaque tour de table.
• écran d'affichageLa fonction d'affichage : prend en charge les écrans OLED ou LCD pour afficher l'intensité du signal ou le contenu du dialogue.
• Support matérielSupport d'une large gamme de matériels tels que la carte de développement Litronix-Realistic ESP32-S3, Loxin ESP32-S3-BOX3, M5Stack CoreS3, et bien d'autres.

Utiliser l'aide

Processus d'installation

1. Préparation du matérielPour ce faire, vous devez vous assurer que vous disposez du matériel nécessaire, tel que la carte de développement ESP32, le module microphone, le module haut-parleur et l'écran.
2. Télécharger le micrologicielPour plus d'informations, consultez la page GitHub du projet pour télécharger la dernière version du micrologiciel.
3. Gravure du micrologicielPour ce faire, vous devez : utiliser l'outil Flash pour graver le micrologiciel sur la carte de développement ESP32. Les étapes spécifiques sont les suivantes :
   • Connectez la carte de développement ESP32 à l'ordinateur.
   • Ouvrez l'outil Flash et sélectionnez le fichier firmware téléchargé.
   • Cliquez sur le bouton "Graver" et attendez que la gravure soit terminée.
4. Configuration du réseauUne fois la gravure terminée, appuyez sur le bouton BOOT de la carte de développement pour passer en mode de configuration réseau et vous connecter à un réseau Wi-Fi ou 4G.
5. Installation des dépendancesInstaller les dépendances logicielles nécessaires, telles que l'environnement de développement ESP-IDF, conformément à la documentation du projet.
6. Projets en coursAprès avoir effectué les étapes ci-dessus, exécutez le projet et commencez à expérimenter la fonction de chat AI.

Mode d'emploi

1. se réveiller avec une voixLe chatbot IA : prononcez le mot de réveil dans le microphone pour réveiller le chatbot IA.
2. dialogue vocalL'intelligence artificielle : Après le réveil, vous pouvez dialoguer directement avec l'intelligence artificielle, dans plusieurs langues.
3. Rôles personnalisésLes fichiers de configuration permettent de définir des signaux et des tonalités de caractères personnalisés.
4. Fonction d'affichageAffichage du contenu du dialogue et de l'intensité du signal sur l'écran OLED ou LCD.
5. reconnaissance vocaleL'IA peut reconnaître qui l'appelle par son nom et lui fournir une réponse personnalisée.
6. mémoire à court termeL'intelligence artificielle : Après chaque tour de dialogue, l'intelligence artificielle effectue un résumé de soi pour améliorer l'expérience du dialogue.

Procédure d'utilisation détaillée

1. Réveil et dialogue: :
   • Assurez-vous que l'appareil est connecté au réseau.
   • Prononcez un mot de réveil dans le microphone, par exemple "Xiaozhi", et l'appareil passera en mode veille.
   • Posez votre question ou donnez votre ordre et l'intelligence artificielle procédera à la reconnaissance vocale et vous répondra.
2. Définition d'un rôle personnalisé: :
   • Ouvrez le fichier de configuration et trouvez la section Role Settings.
   • Saisissez des repères personnalisés et des paramètres de tonalité, puis enregistrez le fichier.
   • Redémarrez l'appareil et les nouveaux paramètres de rôle prennent effet.
3. Utilisation de l'écran: :
   • Lorsque l'appareil est activé, l'écran affiche l'intensité du signal réseau actuel.
   • Pendant le dialogue, l'écran affiche le contenu du dialogue pour en faciliter la lecture.
4. fonction de reconnaissance vocale: :
   • Dans le fichier de configuration, définissez les paramètres de reconnaissance vocale.
   • Lorsque l'appareil est activé, il reconnaît automatiquement l'empreinte vocale de l'interlocuteur et lui fournit une réponse personnalisée.
5. la fonction de mémoire à court terme: :
   • Après chaque tour de table, l'IA résume et améliore automatiquement l'expérience du dialogue.
   • Les paramètres de synthèse peuvent être ajustés dans le fichier de configuration afin d'optimiser l'effet mémoire.