Linly-Talker : système de dialogue intelligent pour les personnes numériques, combinant de grands modèles linguistiques et des modèles visuels pour de nouvelles expériences interactives

Introduction générale

Linly-Talker est un système numérique innovant de dialogue humain qui associe de grands modèles de langage (LLM) à des modèles visuels pour créer une nouvelle approche de l'interaction homme-machine. Le système intègre de multiples technologies telles que Whisper, Linly, Microsoft Speech Services et SadTalker Linly-Talker permet aux utilisateurs de télécharger des images pour le dialogue et améliore l'interactivité et le réalisme grâce à un système de dialogue à plusieurs tours. Le projet a été développé par Kedreamix et est ouvert sur GitHub pour que les développeurs et les chercheurs puissent l'utiliser et l'améliorer.

Liste des fonctions

• Système de dialogue à plusieurs voixLa nouvelle version du logiciel de gestion de l'information est la suivante : elle permet un dialogue contextuel à plusieurs tours pour une meilleure interactivité et un plus grand réalisme.
• Dialogue de téléchargement d'imagesLes utilisateurs peuvent télécharger des images et engager un dialogue avec des personnes numériques.
• Synthèse et reconnaissance vocaleLa reconnaissance vocale : elle s'intègre à Microsoft TTS et FunASR pour offrir plusieurs types de discours et une reconnaissance vocale rapide.
• Génération de sous-titres vidéoLa génération de sous-titres vidéo est prise en charge pour améliorer les effets visuels.
• clonage de la paroleLe modèle GPT-SoVITS permet de cloner des voix en utilisant une minute de données vocales.
• Génération de personnages personnalisésLe système de gestion de l'information : Il permet de générer des rôles personnalisés grâce à de multiples modèles et options.
• dialogue en temps réelIntégration avec MuseTalk pour une fonctionnalité de base de dialogue en temps réel.

Utiliser l'aide

Processus d'installation

1. projet de clonageLe projet doit être cloné : Exécutez la commande suivante dans le terminal pour cloner le projet :

   git clone https://github.com/Kedreamix/Linly-Talker.git

2. Installation des dépendancesLe projet doit être installé dans le répertoire du projet et les dépendances nécessaires doivent être installées :

   cd Linly-Talker
pip install -r requirements_app.txt
pip install -r requirements_webui.txt

3. Environnement de configuration：根据需要配置环境变量和证书，确保系统正常运行。

Lignes directrices pour l'utilisation

1. Démarrage de l'interface WebUILancement de l'interface WebUI : Exécutez la commande suivante pour lancer l'interface WebUI :

   python webui.py

Ouvrez votre navigateur pour accéder à http://localhost:7860Si vous souhaitez accéder à l'interface web de Linly-Talker, vous pouvez le faire en cliquant sur le lien suivant.

2. Télécharger des images pour le dialogue: :
   • Dans l'interface WebUI, cliquez sur le bouton "Télécharger une image" et sélectionnez le fichier image à télécharger.
   • Une fois l'image téléchargée, le système génère automatiquement un contenu de dialogue et l'utilisateur peut interagir avec la personne numérique.
3. Synthèse et reconnaissance vocale: :
   • Saisissez le texte dans la boîte de dialogue, sélectionnez le type de voix, cliquez sur le bouton "Générer la voix", le système synthétisera la voix et la jouera.
   • Les utilisateurs peuvent également saisir leur voix à l'aide du microphone et le système reconnaîtra et générera automatiquement le texte.
4. Génération de sous-titres vidéo: :
   • Téléchargez un fichier vidéo, le système générera automatiquement des sous-titres et les intégrera dans la vidéo, et les utilisateurs pourront télécharger le fichier vidéo avec les sous-titres.
5. clonage de la parole: :
   • Téléchargez un échantillon de la voix de la personne cible et le système utilisera le modèle GPT-SoVITS pour le clonage de la voix afin de générer une voix similaire à celle de la personne cible.
6. Génération de personnages personnalisés: :
   • Dans l'interface WebUI, sélectionnez l'option "Génération de persona personnalisé", entrez les informations relatives au persona et le système générera un persona personnalisé.
7. dialogue en temps réel: :
   • En sélectionnant le module MuseTalk, le système active la fonction de dialogue en temps réel, qui permet à l'utilisateur d'interagir avec la personne numérique en temps réel.

Installateur Windows tout-en-un

Quark : https://pan.quark.cn/s/cc8f19c45a15