Linly-Talker: sistema de diálogo inteligente para personas digitales que combina grandes modelos lingüísticos y modelos visuales para nuevas experiencias interactivas.

Introducción general

Linly-Talker es un innovador sistema digital de diálogo humano que combina grandes modelos lingüísticos (LLM) con modelos visuales para crear un novedoso enfoque de la interacción persona-ordenador. El sistema integra múltiples tecnologías como Whisper, Linly, Microsoft Speech Services y SadTalker Linly-Talker permite a los usuarios cargar imágenes para el diálogo y mejora la interactividad y el realismo mediante un sistema de diálogo multirronda. El proyecto ha sido desarrollado por Kedreamix y es de código abierto en GitHub para que desarrolladores e investigadores puedan utilizarlo y mejorarlo.

Lista de funciones

• Sistema de diálogo múltiple: Admite el diálogo multirronda sensible al contexto para mejorar la interactividad y el realismo.
• Diálogo de carga de imágenes: Los usuarios pueden subir imágenes y entablar un diálogo con personas digitales.
• Síntesis y reconocimiento de voz: Se integra con Microsoft TTS y FunASR para proporcionar múltiples tipos de habla y un rápido reconocimiento del habla.
• Generación de subtítulos de vídeo: Admite la generación de subtítulos de vídeo para mejorar los efectos visuales.
• clonación de vozCon el modelo GPT-SoVITS, las voces pueden clonarse utilizando un minuto de datos de voz.
• Generación de personajes personalizados: Admite la generación de roles personalizados con múltiples modelos y opciones.
• diálogo en tiempo realIntegración con MuseTalk para funciones básicas de diálogo en tiempo real.

Utilizar la ayuda

Proceso de instalación

1. proyecto de clonaciónEjecute el siguiente comando en el terminal para clonar el proyecto:

   git clone https://github.com/Kedreamix/Linly-Talker.git

2. Instalación de dependenciasVaya al directorio del proyecto e instale las dependencias necesarias:

   cd Linly-Talker
pip install -r requirements_app.txt
pip install -r requirements_webui.txt

3. Entorno de configuraciónConfigure las variables de entorno y los certificados necesarios para garantizar el correcto funcionamiento del sistema.

Normas de uso

1. Iniciar la WebUIEjecute el siguiente comando para iniciar la WebUI:

   python webui.py

Abra su navegador para acceder a http://localhost:7860Si desea acceder a la interfaz web de Linly-Talker, puede hacerlo pulsando en el siguiente enlace.

2. Cargar imágenes para el diálogo::
   • En la interfaz WebUI, haga clic en el botón "Cargar imagen" y seleccione el archivo de imagen que desea cargar.
   • Una vez cargada la imagen, el sistema genera automáticamente contenidos de diálogo y el usuario puede interactuar con la persona digital.
3. Síntesis y reconocimiento de voz::
   • Introduce el texto en el cuadro de diálogo, selecciona el tipo de voz, pulsa el botón "Generar voz", el sistema sintetizará la voz y la reproducirá.
   • Los usuarios también pueden introducir su voz a través del micrófono y el sistema reconocerá y generará automáticamente el texto.
4. Generación de subtítulos de vídeo::
   • Sube un archivo de vídeo, el sistema generará automáticamente los subtítulos y los incrustará en el vídeo, y los usuarios podrán descargar el archivo de vídeo con subtítulos.
5. clonación de voz::
   • Cargue una muestra de voz de la persona objetivo y el sistema utilizará el modelo GPT-SoVITS de clonación de voz para generar una voz similar a la de la persona objetivo.
6. Generación de personajes personalizados::
   • En la interfaz WebUI, seleccione la opción "Generación de persona personalizada", introduzca la información de la persona y el sistema generará una persona personalizada.
7. diálogo en tiempo real::
   • Al seleccionar el módulo MuseTalk, el sistema activará la función de diálogo en tiempo real, que permite al usuario interactuar con la persona digital en tiempo real.

Instalador de Windows All-in-One

Quark: https://pan.quark.cn/s/cc8f19c45a15