Fay Digital Human Framework: integración de modelos lingüísticos y personajes digitales tridimensionales para dar soporte a diversos escenarios de aplicación.

Introducción general

Fay es un marco humano digital virtual 3D de código abierto, integrado con modelos de lenguaje y personajes digitales, adecuado para una gran variedad de escenarios de aplicación, como guías de compras virtuales, presentadores virtuales, asistentes, camareros, profesores y asistentes móviles basados en voz o texto. El marco Fay admite el uso sin conexión completa, proporcionando milisegundos para responder, y se puede emparejar libremente con una variedad de modelos humanos digitales, grandes modelos de lenguaje, modelos ASR (reconocimiento automático del habla) y TTS (texto a voz). Fay se ha comprometido a proporcionar interfaces de aplicaciones humanas digitales completas para microcontroladores, aplicaciones, sitios web, etc. Admite la concurrencia multiusuario y multicanal, y proporciona interfaces de comunicación de texto y voz, interfaces de gestión y control, e interfaces de reproducción automática, etc. El marco de Fay admite el uso sin conexión completa, proporcionando respuestas en milisegundos.

Lista de funciones

• Completamente de código abierto y disponible comercialmente
• Admite el uso sin conexión
• respuesta en milisegundos
• Modelos humanos digitalizados de correspondencia libre, grandes modelos lingüísticos, ASR, modelos TTS
• Soporta profesor virtual, presentador virtual, emisión de noticias y otros modos de emisión automática
• Soporta microcontrolador, aplicación, sitio web, pantalla grande, sistema de acceso maduro
• Soporte multiusuario simultáneo
• Proporcionan interfaz de comunicación de texto, interfaz de comunicación de voz, interfaz de modelo humano digital, interfaz de control de gestión, interfaz de reproducción automática
• Admite una configuración flexible de la ejecución de comandos de voz
• Base de conocimientos personalizada, pares de preguntas y respuestas personalizados, información personalizada sobre las personas
• Activación y diálogo de interrupción
• Admite los modos servidor y autónomo
• Admite la salida de expresiones robóticas
• Apoyar la toma de decisiones autónoma de los agentes reactivos
• Apoyo al diálogo activo
• Arranque silencioso en segundo plano

Utilizar la ayuda

Proceso de instalación

1. Asegúrese de que el entorno del sistema es Python 3.9, 3.10, 3.11 o 3.12, con soporte para Windows, macOS y Linux.
2. Almacén Clon Fay:

   git clone https://github.com/xszyou/Fay.git

3. Vaya al directorio Fay e instale las dependencias:

   cd Fay
pip install -r requirements.txt

4. Modifíquese en caso necesario./system.confDocumentación.
5. Arranca el controlador Fay:

   python main.py

o arrancar con Docker:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

Normas de uso

Funciones básicas

• interfaz de comunicación de texto: Envía un mensaje de texto a través de la API para que te responda una persona digital.
• VCIEnvía un mensaje de voz a través de la API para obtener una respuesta de voz humana digital.
• Interfaz de control de gestión: Gestionar y configurar el comportamiento y la respuesta humana digital.
• Interfaz de reproducción automáticaConfigura modos de reproducción automática como profesor virtual, presentador virtual, etc.

Funciones destacadas

• Base de conocimientos personalizada: Los usuarios pueden crear y gestionar su propia base de conocimientos, lo que mejora la profesionalidad y la personalización de las personas digitales.
• Parejas de preguntas y respuestas personalizadas: Configure preguntas y respuestas específicas para mejorar la capacidad de respuesta de las personas digitales a ámbitos concretos.
• Información personalizadaConfigure el papel y la información de fondo de la persona digital de acuerdo con el escenario de la aplicación.
• Configuración de comandos de voz: Configuración flexible de comandos de voz para interacciones complejas.
• Despertar e interrumpir el diálogo: Soporte para despertar o interrumpir un diálogo humano digital con comandos específicos.
• Salida de expresión del robotLa persona digital puede emitir las expresiones correspondientes según el contenido del diálogo para mejorar la experiencia interactiva.
• reaccionar agente toma de decisiones autónomaEl ser humano digital puede tomar decisiones autónomas y realizar tareas basándose en reglas predefinidas.
• Diálogo activo: Las personas digitales pueden entablar un diálogo para mejorar la experiencia de interacción con el usuario.
• Arranque silencioso en segundo planoInicio silencioso en segundo plano para reducir las interferencias con las operaciones en primer plano.

Juego avanzado

• Integración en sus propios productos: Fay ofrece un rico conjunto de interfaces que permiten a los usuarios integrarlo en sus productos, como microcontroladores, aplicaciones, sitios web, etc.
• Uso de personas digitales: Fay admite una amplia gama de modelos humanos digitales, lo que permite a los usuarios elegir el modelo adecuado para su aplicación según sus necesidades.
• presentador virtual (TV)Configure el modo de presentador virtual para la emisión automatizada de noticias, merchandising y mucho más.
• Asistente de voz remoto: Control remoto de dispositivos mediante comandos de voz para el hogar inteligente y otros escenarios de aplicación.