DH live: pessoas digitais com IA com interação suave em tempo real em placas de vídeo da série 30/40

Introdução geral

O DH_live é um projeto humano digital ao vivo em tempo real baseado em aprendizado sem amostragem, com o objetivo de oferecer aos usuários uma experiência de transmissão ao vivo suave e interativa. O projeto é compatível com as placas gráficas NVIDIA das séries 30 e 40 e é capaz de ser executado em tempo real a mais de 25 fps. Os usuários podem criar e usar humanos digitais em etapas simples, permitindo a geração de vídeo com áudio e a interação em tempo real.

Lista de funções

• Desempenho em tempo real: compatível com as placas de vídeo NVIDIA das séries 30 e 40 para uma experiência interativa suave em tempo real.
• Aprendizado com poucas tentativas: o sistema é capaz de aprender com um pequeno número de exemplos para gerar respostas realistas.
• Preparação do vídeo: use o script data_preparation para preparar os dados do vídeo.
• Driver de áudio: suporta a condução de pessoas digitais por meio de arquivos de áudio para gerar vídeo sincronizado.
• Entrada de microfone em tempo real: suporta operação em tempo real por meio de microfone.

Usando a Ajuda

Criação de ambiente e descompressão de arquivos de modelo

1. Crie um ambiente virtual e ative-o:

   conda create -n dh_live python=3.12
   conda activate dh_live
   

2. Instale a dependência:

   pip install torch --index-url https://download.pytorch.org/whl/cu124
   pip install -r requirements.txt
   

3. Descompacte os arquivos do modelo:
   • Linux.

     cd checkpoint
     cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz
     gzip -d -c render.pth.gz > render.pth
     

   • Windows: extraia o arquivo de ponto de verificação usando o 7zip ou o WinRAR.

Preparação de vídeo

1. fazer uso de data_preparation.py Vídeo de preparação do roteiro:

   python data_preparation.py YOUR_VIDEO_PATH
   

   Os resultados serão armazenados no ./video_data Catálogo.

Execução com arquivos de áudio

1. Certifique-se de que o arquivo de áudio esteja no formato .wav com uma taxa de amostragem de 16 kHz, mono de 16 bits.
2. Execute o script de demonstração:

   python demo.py video_data/test video_data/audio0.wav 1.mp4
   

operação em tempo real

1. Use o microfone para operação em tempo real:

   python demo_avatar.py
   

problemas comuns

• Falha ao descompactar o arquivo de modeloObservação: Certifique-se de que todos os arquivos de subvolume estejam completos e descompactados corretamente.
• Formato de arquivo de áudio incorretoUse um arquivo .wav em conformidade.

Instalador de um clique do DH live

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Chefe do Círculo de Compartilhamento de IA"ou"Aparência-AI"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.