DH live: AI digital people con interacción fluida en tiempo real en tarjetas gráficas de la serie 30/40

Introducción general

DH_live es un proyecto de humanos digitales en tiempo real basado en el aprendizaje sin muestras, cuyo objetivo es proporcionar a los usuarios una experiencia de transmisión en directo fluida e interactiva. El proyecto es compatible con las tarjetas gráficas NVIDIA de las series 30 y 40 y es capaz de funcionar en tiempo real a más de 25 fps. Los usuarios pueden crear y utilizar humanos digitales en sencillos pasos, lo que permite la generación de vídeo con audio y la interacción en tiempo real.

Lista de funciones

• Rendimiento en tiempo real: es compatible con las tarjetas gráficas NVIDIA de las series 30 y 40 para ofrecer una experiencia interactiva fluida en tiempo real.
• Aprendizaje a partir de pocos ejemplos: el sistema es capaz de aprender a partir de un número reducido de ejemplos para generar respuestas realistas.
• Preparación de vídeo: Utilice el script data_preparation para preparar los datos de vídeo.
• Audio Driver: Permite conducir personas digitales a través de archivos de audio para generar vídeo sincronizado.
• Entrada de micrófono en tiempo real: admite el funcionamiento en tiempo real a través del micrófono.

Utilizar la ayuda

Creación de entornos y descompresión de archivos de modelos

1. Crea un entorno virtual y actívalo:

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. Instale la dependencia:

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. Descomprime los archivos del modelo:
   • Linux.

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows: Extraiga el archivo de puntos de control con 7zip o WinRAR.

Preparación del vídeo

1. utilizar data_preparation.py Vídeo de preparación del guión:

   python data_preparation.py YOUR_VIDEO_PATH
   

   Los resultados se almacenarán en el archivo ./video_data Catálogo.

Funcionamiento con archivos de audio

1. Asegúrate de que el archivo de audio está en formato .wav con una frecuencia de muestreo de 16 kHz y 16 bits mono.
2. Ejecute el script de demostración:

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

funcionamiento en tiempo real

1. Utiliza el micrófono para operar en tiempo real:

   python demo_avatar.py
   

problemas comunes

• Fallo al descomprimir el archivo de modeloAsegúrese de que todos los archivos de los subvolúmenes están completos y correctamente descomprimidos.
• Formato de archivo de audio incorrectoPor favor, utilice un archivo .wav conforme.

Instalador DH live de un solo clic

Enlace: https://pan.quark.cn/s/5a34bc9c2f76
Código del extracto: sZT4