Fay Digital Human Framework: Integration von Sprachmodellen und digitalen 3D-Charakteren zur Unterstützung verschiedener Anwendungsszenarien

Allgemeine Einführung

Fay ist ein quelloffenes 3D-Framework für virtuelle digitale Menschen mit integrierten Sprachmodellen und digitalen Charakteren, das sich für eine Vielzahl von Anwendungsszenarien eignet, z. B. für virtuelle Einkaufsführer, virtuelle Moderatoren, Assistenten, Kellner, Lehrer und sprach- oder textbasierte mobile Assistenten. Das Fay-Framework unterstützt die vollständige Offline-Nutzung und bietet eine Antwortzeit von Millisekunden. Fay bietet umfassende digitale menschliche Anwendungsschnittstellen für Mikrocontroller, Anwendungen, Websites usw. Es unterstützt Mehrbenutzer- und Mehrkanal-Gleichzeitigkeit und bietet Text- und Sprachkommunikationsschnittstellen, Verwaltungs- und Steuerungsschnittstellen, Auto-Play-Schnittstellen usw. Das Fay-Framework unterstützt die vollständige Offline-Nutzung und bietet Antworten im Millisekundenbereich.

Funktionsliste

• Vollständig quelloffen und kommerziell verfügbar
• Unterstützt vollständige Offline-Nutzung
• Millisekunden-Antwort
• Freie Anpassung digitaler Menschmodelle, große Sprachmodelle, ASR, TTS-Modelle
• Unterstützt virtuelle Lehrer, virtuelle Moderatoren, Nachrichtensendungen und andere automatische Sendemodi
• Unterstützung von Mikrocontroller, Anwendung, Website, Großbildschirm, ausgereifter Systemzugang
• Gleichzeitige Unterstützung mehrerer Benutzer
• Textkommunikationsschnittstelle, Sprachkommunikationsschnittstelle, digitale Menschmodellschnittstelle, Verwaltungssteuerungsschnittstelle, automatische Wiedergabeschnittstelle bereitstellen
• Unterstützt die flexible Konfiguration der Ausführung von Sprachbefehlen
• Maßgeschneiderte Wissensdatenbank, maßgeschneiderte Frage-Antwort-Paare, maßgeschneiderte Persona-Informationen
• Unterstützung von Weck- und Unterbrechungsdialogen
• Unterstützt Server- und Standalone-Modus
• Unterstützung von Roboterausdrücken
• Unterstützung der autonomen Entscheidungsfindung von Reagenten
• Unterstützung eines aktiven Dialogs
• Unterstützt stilles Starten im Hintergrund

Hilfe verwenden

Ablauf der Installation

1. Stellen Sie sicher, dass die Systemumgebung Python 3.9, 3.10, 3.11 oder 3.12 ist, mit Unterstützung für Windows, macOS und Linux.
2. Klon Fay Lagerhaus:

   git clone https://github.com/xszyou/Fay.git

3. Wechseln Sie in das Verzeichnis Fay und installieren Sie die Abhängigkeiten:

   cd Fay
pip install -r anforderungen.txt

4. Ändern Sie nach Bedarf. /system.confDokumentation.
5. Starten Sie den Fay-Controller:

   python main.py

oder mit Docker booten:

   docker build -t fay .
docker run -it --rm -p 5000:5000 -p 10001:10001 -p 10002:10002 -p 10003:10003 fay

Richtlinien für die Verwendung

Grundlegende Funktionen

• Schnittstelle zur TextkommunikationSenden Sie eine Textnachricht über die API, um eine digitale Person zur Antwort zu veranlassen.
• VCISenden Sie eine Sprachnachricht über die API, um eine digitale menschliche Antwort zu erhalten.
• Management-SteuerungsschnittstelleVerwaltung und Konfiguration des digitalen menschlichen Verhaltens und der Reaktionen.
• AutoPlay-SchnittstelleEinrichten von Autoplay-Modi wie virtueller Lehrer, virtueller Moderator usw.

Ausgewählte Funktionen

• Maßgeschneiderte WissensdatenbankBenutzer können ihre eigene Wissensdatenbank erstellen und verwalten und so die Professionalität und Personalisierung digitaler Personen verbessern.
• Maßgeschneiderte Q&A-PaareKonfigurieren Sie spezifische Fragen und Antworten, um die Reaktionsfähigkeit der digitalen Menschen in bestimmten Bereichen zu verbessern.
• Maßgeschneiderte Persona-InformationenRolle und Hintergrundinformationen der digitalen Person entsprechend dem Anwendungsszenario festlegen.
• Sprachsteuerung KonfigurationFlexible Konfiguration von Sprachbefehlen für komplexe Interaktionen.
• Aufwachen und den Dialog unterbrechenUnterstützung für das Aufwecken oder Unterbrechen des digitalen menschlichen Dialogs durch spezifische Befehle.
• Roboter-Ausdruck AusgabeDie digitale Person kann je nach Dialoginhalt entsprechende Ausdrücke von sich geben, um das interaktive Erlebnis zu verbessern.
• Reagieren Agent autonome EntscheidungsfindungDigitale Menschen können autonome Entscheidungen treffen und Aufgaben auf der Grundlage von vordefinierten Regeln ausführen.
• Aktiver DialogDigitale Menschen können einen Dialog initiieren, um die Interaktion mit dem Benutzer zu verbessern.
• Stiller Start im HintergrundUnterstützt den stillen Start im Hintergrund, um Störungen des Vordergrundbetriebs zu vermeiden.

Fortgeschrittenes Spiel

• Integration in Ihre eigenen ProdukteFay bietet eine Vielzahl von Schnittstellen, die es den Nutzern ermöglichen, es in ihre Produkte zu integrieren, z. B. in Mikrocontroller, Anwendungen, Websites usw.
• Einsatz von Digital PeopleFay unterstützt eine breite Palette digitaler Menschmodelle, so dass die Benutzer je nach Bedarf das richtige Modell für ihre Anwendung auswählen können.
• virtueller Anker (TV)Konfigurieren Sie den virtuellen Ankermodus für automatische Nachrichtensendungen, Merchandising und mehr.
• Ferngesteuerter SprachassistentFernsteuerung von Geräten durch Sprachbefehle für Smart Home und andere Anwendungsszenarien.