SadTalker: Haz Hablar a las Fotos | Audio Sincronizado con la Boca | Vídeo Sincronizado con la Boca Sintetizado | Gente Digital Gratis

Introducción general

SadTalker es una herramienta de código abierto que combina una única foto de retrato con un archivo de audio para crear vídeos realistas de cabezas parlantes para una amplia gama de escenarios, como mensajes personalizados, contenidos educativos y mucho más. El revolucionario uso de tecnologías de modelado 3D como ExpNet y PoseVAE destaca en la captura de sutiles expresiones faciales y movimientos de la cabeza. Los usuarios pueden utilizar la tecnología SadTalker tanto para proyectos personales como comerciales, como mensajería, enseñanza o marketing.

Mejoras recomendadas:SVLS: SadTalker mejorado para generar personas digitales utilizando vídeo de retratosLa última incorporación a la lista es una persona digital generada por vídeo, que ha pasado de ser una persona digital generada por foto a una persona digital generada por vídeo, y que habla con más fluidez gracias a la tecnología de inserción de fotogramas.

Lista de funciones

Sincronización de movimientos y expresiones faciales mediante audio

• Convierte fotos fijas de retrato en vídeo con movimiento
• Animación sincronizada de archivos de audio con sincronización labial

Admite el modo de cuerpo completo y la función potenciadora de la expresión

Proporciona una interfaz WebUI configurable

La tecnología puede utilizarse a través de la integración de Discord

Proporcionar documentación detallada sobre desarrollo y uso

Compatible con Windows, Linux/Unix y macOS

Utilizar la ayuda

Instalar Anaconda, Python y git.
Siga la documentación para instalar el entorno y descargar el modelo
Generación de animaciones mediante WebUI nativa o interfaz de línea de comandos

Atención:

• Elija una foto clara y de frente para obtener los mejores resultados.
• Utiliza archivos de audio claros para garantizar una sincronización labial precisa

En función de los recursos disponibles en la web, he aquí los pasos básicos para utilizar SadTalker:

1. Preparación medioambiental:
   • Si no tienes un entorno Python, instala Anaconda.
   • Instala NVIDIA cuda-toolkit para utilizar la aceleración por GPU en ordenadores con tarjetas gráficas NVIDIA. El procesamiento será más lento si sólo se utiliza la CPU.
2. Instalación de modelos y bibliotecas:
   • Descargue e instale los archivos de modelos y bibliotecas necesarios. Estos archivos suelen tener que colocarse en un directorio específico, por ejemplo./checkpoints/tal vez./gfpgan/weights/.
3. Instalación de la videoteca FFMPEG:
   • Instale FFMPEG, necesario para generar vídeos.
4. Instalación de la biblioteca de conversión de voz TTS:
   • Instala la biblioteca edge-tts para convertir texto en voz.
5. Uso de la interfaz web:
   • Haciendo clic en el botónwebui.batInicie la interfaz web de SadTalker.
   • En la interfaz de usuario web, cargue la imagen en el área especificada y establezca los parámetros al convertir la persona digital.
   • Después de generar un vídeo humano digital, puedes ver los resultados en la interfaz.
6. Uso de la línea de comandos:
   • Si se buscan más opciones, SadTalker puede utilizarse mediante scripts de línea de comandos.
   • Si utiliza la línea de comandos, puede ejecutartask.shpara generar tareas fácilmente.
7. advertencia:
   • Cuando lo utilices, asegúrate de que la imagen sea de buena calidad para obtener los mejores resultados.
   • Si se produce un error, comolibiomp5md.dllConflictos, intente encontrarlos en elapp.pyConfiguración de variables de entorno enKMP_DUPLICATE_LIB_OK=TRUEpara arreglarlo.

Los pasos anteriores se basan en tutoriales de la web y en la experiencia de los usuarios, y el funcionamiento exacto puede variar. Se recomienda consultar la documentación oficial de SadTalker y los tutoriales de la comunidad para obtener las instrucciones más actualizadas y detalladas.

Instalación de SadTalker

SadTalker Descargas para Windows

SadTalker funciona gratuitamente en línea en WebUI

cara de abrazo  google colab