Fay Digital Human Framework: integração de modelos de linguagem e caracteres digitais 3D para dar suporte a vários cenários de aplicativos

Introdução geral

O Fay é uma estrutura humana digital virtual 3D de código aberto, integrada com modelos de linguagem e caracteres digitais, adequada para vários cenários de aplicativos, como guias de compras virtuais, âncoras virtuais, assistentes, garçons, professores e assistentes móveis baseados em voz ou texto. A estrutura do Fay é compatível com o uso totalmente off-line, fornecendo milissegundos para resposta, e pode ser combinada livremente com vários modelos humanos digitais, modelos de linguagem grandes, modelos ASR (reconhecimento automático de fala) e TTS (conversão de texto em fala). A Fay tem o compromisso de fornecer interfaces de aplicativos humanos digitais abrangentes para microcontroladores, aplicativos, sites etc. Ela suporta simultaneidade multiusuário e multicanal e fornece interfaces de comunicação de texto e voz, interfaces de gerenciamento e controle e interfaces de reprodução automática etc. A estrutura da Fay suporta o uso totalmente off-line, fornecendo respostas em milissegundos.

Lista de funções

• Totalmente de código aberto e disponível comercialmente
• Suporta o uso totalmente off-line
• resposta em milissegundos
• Modelos humanos digitalizados de correspondência livre, modelos de idiomas grandes, ASR, modelos TTS
• Suporte a professor virtual, âncora virtual, transmissão de notícias e outros modos de transmissão automática
• Suporte a microcontrolador, aplicativo, site, tela grande, acesso a sistema maduro
• Suporte simultâneo a vários usuários
• Fornecer interface de comunicação de texto, interface de comunicação de voz, interface de modelo humano digital, interface de controle de gerenciamento, interface de reprodução automática
• Oferece suporte à configuração flexível da execução de comandos de voz
• Base de conhecimento personalizada, pares de perguntas e respostas personalizados, informações personalizadas sobre a pessoa
• Suporte para despertar e interromper o diálogo
• Suporta os modos servidor e autônomo
• Suporte à saída de expressão de robô
• Suporte à execução da tomada de decisão autônoma do agente de reação
• Apoio ao diálogo ativo
• Suporta inicialização silenciosa em segundo plano

Usando a Ajuda

Processo de instalação

1. Certifique-se de que o ambiente do sistema seja Python 3.9, 3.10, 3.11 ou 3.12, com suporte para Windows, macOS e Linux.
2. Armazém Clone Fay:

   git clone https://github.com/xszyou/Fay.git

3. Vá para o diretório Fay e instale as dependências:

   cd Fay
pip install -r requirements.txt

4. Modificar conforme necessário. /system.confDocumentação.
5. Inicie o controlador Fay:

   python main.py

ou inicializar com o Docker:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

Diretrizes para uso

Funções básicas

• interface de comunicação de textoMensagem de texto: envie uma mensagem de texto por meio da API para que uma pessoa digital responda.
• VCIEnvie uma mensagem de voz por meio da API para obter uma resposta digital de voz humana.
• Interface de controle de gerenciamentoGerenciar e configurar o comportamento e a resposta humana digital.
• Interface AutoPlayConfigure modos de reprodução automática, como professor virtual, âncora virtual, etc.

Funções em destaque

• Base de conhecimento personalizadaOs usuários podem criar e gerenciar sua própria base de conhecimento, aprimorando o profissionalismo e a personalização das pessoas digitais.
• Pares de perguntas e respostas personalizadosConfigure perguntas e respostas específicas para melhorar a capacidade de resposta das pessoas digitais a domínios específicos.
• Informações personalizadas sobre a pessoaFunção: Defina a função e as informações de histórico do operador digital de acordo com o cenário do aplicativo.
• Configuração de comando de vozConfiguração flexível de comandos de voz para interações complexas.
• Acorde e interrompa o diálogoSuporte para despertar ou interromper um diálogo humano digital com comandos específicos.
• Saída de expressão do robôO digital person pode emitir expressões correspondentes de acordo com o conteúdo do diálogo para aprimorar a experiência interativa.
• tomada de decisão autônoma do agente reativoPessoas digitais podem tomar decisões autônomas e executar tarefas com base em regras predefinidas.
• Diálogo ativoPessoas digitais podem iniciar um diálogo para aprimorar a experiência de interação com o usuário.
• Início silencioso em segundo planoSuporte à inicialização silenciosa em segundo plano para reduzir a interferência nas operações em primeiro plano.

Jogo avançado

• Integração em seus próprios produtosFay fornece um conjunto rico de interfaces que permite aos usuários integrá-lo a seus produtos, como microcontroladores, aplicativos, sites e assim por diante.
• Uso de pessoas digitaisO Fay é compatível com uma ampla variedade de modelos humanos digitais, permitindo que os usuários escolham o modelo certo para sua aplicação, conforme necessário.
• âncora virtual (TV)Configure o modo de âncora virtual para transmissão automática de notícias, merchandising e muito mais.
• Assistente de voz remotoControle remoto de dispositivos por meio de comandos de voz para casa inteligente e outros cenários de aplicativos.