Weebo : un chatbot vocal en temps réel qui offre une expérience de dialogue en langage naturel

Introduction générale

Weebo est un chatbot vocal en temps réel open source qui utilise la technologie Chuchotement Small pour la reconnaissance vocale, Llama 3.2 pour la génération de langage naturel et Kokoro-82M pour la synthèse vocale. Développé par Amanvir Parhar, le projet vise à fournir une solution de dialogue vocal efficace qui fonctionne sur des appareils natifs. Weebo prend en charge un large éventail de voix et génère en douceur des réponses en temps réel pour un large éventail de scénarios d'application qui nécessitent une interaction vocale.

Liste des fonctions

• Reconnaissance vocale en temps réel : traitement efficace de la parole vers le texte à l'aide du modèle Whisper Small.
• Génération de langage naturel : générer des réponses en langage naturel à l'aide du modèle Llama 3.2.
• Synthèse vocale : conversion du texte en parole à l'aide du modèle Kokoro-82M.
• Prise en charge de plusieurs sons : offre plusieurs options sonores pour améliorer l'expérience de l'utilisateur.
• Exécution locale : il n'est pas nécessaire de s'appuyer sur des services en nuage, tout le traitement est effectué sur l'appareil local.
• Code source ouvert : le code est ouvert au public, ce qui permet aux utilisateurs de modifier et d'étendre librement les fonctionnalités.

Utiliser l'aide

Processus d'installation

1. Télécharger le modèle requis :
   • Télécharger le fichier modèle Kokoro-82M kokoro-v0_19.onnx et placé dans le dossier du projet.
   • utiliser Ollama L'outil tire le modèle Llama 3.2.
2. Cloner le code du projet Weebo :

   git clone https://github.com/amanvirparhar/weebo.git
cd weebo

3. Installer la dépendance :

   pip install -r requirements.txt

4. Lancer le chatbot :

   python main.py

Mode d'emploi

1. Après avoir lancé le programme, Weebo commence à écouter la voix.
2. Les utilisateurs peuvent parler naturellement et Weebo génère une réponse vocale après une courte pause.
3. presse Ctrl+C Le programme peut être arrêté.

Principales fonctions

• reconnaissance vocaleWeebo utilise le modèle Whisper Small pour la reconnaissance vocale et est capable de convertir avec précision le discours d'un utilisateur en texte.
• génération de langage naturelWeebo : En utilisant le modèle Llama 3.2, Weebo comprend l'entrée vocale de l'utilisateur et génère une réponse en langage naturel.
• synthèse vocaleWeebo : à l'aide du modèle Kokoro-82M, Weebo convertit la réponse textuelle générée en parole et l'émet dans le haut-parleur.
• Support multi-voixLes utilisateurs peuvent sélectionner différents modèles sonores dans le profil pour répondre à différentes exigences d'application.

Étapes détaillées

1. Lancer Weebo: Run python main.pyLe programme commence à écouter la voix de l'utilisateur.
2. saisie vocaleLes utilisateurs peuvent parler directement dans le microphone et Weebo reconnaîtra et traitera automatiquement la voix.
3. Générer une réponseAprès avoir reconnu la parole, Weebo génère une réponse en langage naturel à l'aide du modèle Llama 3.2 et la convertit en parole à l'aide du modèle Kokoro-82M.
4. Réponse à la lectureLa réponse vocale générée est diffusée par le haut-parleur et l'utilisateur peut entendre la réponse de Weebo.
5. procédure d'arrêt: Presse Ctrl+C Weebo peut être arrêté à tout moment.

Avec les étapes ci-dessus, les utilisateurs peuvent facilement commencer à utiliser Weebo pour avoir des conversations vocales en temps réel et faire l'expérience d'une interaction vocale naturelle et fluide.