Weebo: um chatbot de voz em tempo real que oferece uma experiência de diálogo em linguagem natural

Introdução geral

O Weebo é um chatbot de voz em tempo real de código aberto que utiliza o Sussurro Small para reconhecimento de fala, Llama 3.2 para geração de linguagem natural e Kokoro-82M para síntese de fala. Desenvolvido por Amanvir Parhar, o projeto tem como objetivo fornecer uma solução eficiente de diálogo por voz que possa ser executada em dispositivos nativos. O Weebo é compatível com uma ampla variedade de vozes e gera respostas em tempo real para uma grande variedade de cenários de aplicativos que exigem interação por voz.

Lista de funções

• Reconhecimento de fala em tempo real: processamento eficiente de fala para texto usando o modelo Whisper Small.
• Geração de linguagem natural: gere respostas em linguagem natural por meio do modelo Llama 3.2.
• Síntese de fala: conversão de texto em fala usando o modelo Kokoro-82M.
• Suporte a vários sons: oferece várias opções de som para aprimorar a experiência do usuário.
• Executa localmente: não há necessidade de depender de serviços em nuvem, todo o processamento é feito no dispositivo local.
• Código-fonte aberto: o código é aberto ao público, permitindo que os usuários modifiquem e ampliem livremente a funcionalidade.

Usando a Ajuda

Processo de instalação

1. Faça o download do modelo necessário:
   • Faça o download do arquivo do modelo Kokoro-82M kokoro-v0_19.onnx e colocado na pasta do projeto.
   • fazer uso de Ollama A ferramenta extrai o modelo Llama 3.2.
2. Clonar o código do projeto Weebo:

   git clone https://github.com/amanvirparhar/weebo.git
cd weebo

3. Instale a dependência:

   pip install -r requirements.txt

4. Execute o chatbot:

   python main.py

Instruções de uso

1. Depois de iniciar o programa, o Weebo começará a ouvir a entrada de voz.
2. Os usuários podem falar naturalmente e a Weebo gerará uma resposta de voz após uma breve pausa.
3. manter a mão sobre Ctrl+C O programa pode ser interrompido.

Funções principais

• reconhecimento de falaWeebo usa o modelo Whisper Small para reconhecimento de fala e é capaz de converter com precisão a fala do usuário em texto.
• geração de linguagem naturalUsando o modelo Llama 3.2, a Weebo entende a entrada de fala do usuário e gera uma resposta em linguagem natural.
• síntese de falaUsando o modelo Kokoro-82M, a Weebo converte a resposta de texto gerada em fala e a reproduz no alto-falante.
• Suporte a várias vozesOs usuários podem selecionar diferentes modelos de som no perfil para atender a diferentes requisitos de aplicação.

Etapas detalhadas

1. Lançamento do Weebo: Executar python main.pyO programa começará a ouvir a entrada de voz do usuário.
2. entrada de vozOs usuários podem falar diretamente no microfone e a Weebo reconhecerá e processará a voz automaticamente.
3. Geração de uma respostaDepois de reconhecer a fala, a Weebo gera uma resposta em linguagem natural usando o modelo Llama 3.2 e a converte em fala usando o modelo Kokoro-82M.
4. Resposta de reproduçãoResposta de voz: A resposta de voz gerada será reproduzida pelos alto-falantes e o usuário poderá ouvir a resposta da Weebo.
5. procedimento de parada: Imprensa Ctrl+C O Weebo pode ser interrompido a qualquer momento.

Com as etapas acima, os usuários podem facilmente começar a usar a Weebo para diálogo de voz em tempo real e experimentar uma interação de voz natural e suave.