Fay Digital Human Framework : intégration de modèles linguistiques et de personnages numériques en 3D pour soutenir une variété de scénarios d'application.

Introduction générale

Fay est une structure open source d'humains numériques virtuels en 3D, intégrée à des modèles de langage et à des personnages numériques, adaptée à divers scénarios d'application, tels que des guides d'achat virtuels, des présentateurs virtuels, des assistants, des serveurs, des enseignants et des assistants mobiles basés sur la voix ou le texte. La structure Fay prend en charge une utilisation entièrement hors ligne, offrant un temps de réponse de quelques millisecondes, et peut être librement associée à divers modèles d'humains numériques, à de grands modèles de langage, à des modèles ASR (reconnaissance automatique de la parole) et TTS (synthèse vocale). Fay s'engage à fournir des interfaces d'application humaines numériques complètes pour les microcontrôleurs, les applications, les sites web, etc. Il prend en charge la concurrence multi-utilisateurs et multi-canaux, et fournit des interfaces de communication textuelle et vocale, des interfaces de gestion et de contrôle, et des interfaces de lecture automatique, etc.

Liste des fonctions

• Entièrement open source et disponible dans le commerce
• Prise en charge de l'utilisation hors ligne
• réponse en millisecondes
• Modèles humains numérisés à appariement libre, modèles linguistiques de grande taille, ASR, modèles TTS
• Prise en charge de l'enseignant virtuel, du présentateur virtuel, de la diffusion d'informations et d'autres modes de diffusion automatique
• Prise en charge du microcontrôleur, de l'application, du site web, du grand écran, de l'accès au système mature
• Prise en charge simultanée de plusieurs utilisateurs
• Fournir une interface de communication textuelle, une interface de communication vocale, une interface de modèle humain numérique, une interface de contrôle de gestion, une interface de lecture automatique.
• Permet une configuration souple de l'exécution des commandes vocales
• Base de connaissances personnalisée, paires de questions-réponses personnalisées, informations personnalisées sur les personas
• Prise en charge du réveil et du dialogue d'interruption
• Prend en charge les modes serveur et autonome
• Prise en charge de la sortie d'expression robotique
• Soutien à l'exécution de la prise de décision autonome de l'agent réactif
• Soutien au dialogue actif
• Prise en charge du démarrage silencieux en arrière-plan

Utiliser l'aide

Processus d'installation

1. Assurez-vous que l'environnement système est Python 3.9, 3.10, 3.11 ou 3.12, avec prise en charge de Windows, macOS et Linux.
2. Entrepôt Clone Fay :

   git clone https://github.com/xszyou/Fay.git

3. Allez dans le répertoire Fay et installez les dépendances :

   cd Fay
pip install -r requirements.txt

4. Modifier si nécessaire./system.confDocumentation.
5. Démarrer le contrôleur Fay :

   python main.py

ou démarrer avec Docker :

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

Lignes directrices pour l'utilisation

Fonctions de base

• interface de communication textuelle: Envoyer un message texte par l'intermédiaire de l'API pour qu'une personne numérique réponde.
• VCIMessage vocal : envoyez un message vocal par l'intermédiaire de l'API pour obtenir une réponse vocale numérique.
• Interface de gestion et de contrôleLes services d'aide à la décision : gérer et configurer le comportement et les réactions numériques des êtres humains.
• Interface AutoPlayLes modes de lecture automatique sont les suivants : professeur virtuel, ancrage virtuel, etc.

Fonctions vedettes

• Base de connaissances personnaliséeLes utilisateurs peuvent créer et gérer leur propre base de connaissances, ce qui renforce le professionnalisme et la personnalisation des personnes numériques.
• Paires de questions-réponses personnaliséesLes questions et les réponses : Configurez des questions et des réponses spécifiques pour améliorer la réactivité des personnes numériques dans des domaines spécifiques.
• Informations personnalisées sur les personasLa personne numérique : Définir le rôle et les informations de base de la personne numérique en fonction du scénario de l'application.
• Configuration des commandes vocalesLes commandes vocales : configuration flexible des commandes vocales pour des interactions complexes.
• Réveillez-vous et interrompez le dialogueLes services d'aide à la décision : aide à l'éveil ou à l'interruption d'un dialogue humain numérique par des commandes spécifiques.
• Sortie de l'expression du robotLa personne numérique peut produire des expressions correspondant au contenu du dialogue afin d'améliorer l'expérience interactive.
• agent réactif prise de décision autonomeLes personnes numériques peuvent prendre des décisions autonomes et effectuer des tâches sur la base de règles prédéfinies.
• Dialogue actifLes personnes numériques peuvent entamer un dialogue afin d'améliorer l'expérience d'interaction avec l'utilisateur.
• Démarrage silencieux en arrière-planDémarrage silencieux en arrière-plan pour réduire les interférences avec les opérations de premier plan.

Jeu avancé

• Intégration dans vos propres produitsFay fournit un ensemble riche d'interfaces qui permettent aux utilisateurs de l'intégrer dans leurs produits, tels que les microcontrôleurs, les applications, les sites web, etc.
• Utilisation des personnes numériquesFay prend en charge un large éventail de modèles humains numériques, ce qui permet aux utilisateurs de choisir le modèle adapté à leur application en fonction de leurs besoins.
• présentateur virtuel (TV)Les services d'information : Configurez le mode d'ancrage virtuel pour la diffusion automatisée d'informations, le merchandising et bien d'autres choses encore.
• Assistant vocal à distance: Contrôle à distance d'appareils par commande vocale pour la maison intelligente et d'autres scénarios d'application.