Introdução geral
O DH_live é um projeto humano digital ao vivo em tempo real baseado em aprendizado sem amostragem, com o objetivo de oferecer aos usuários uma experiência de transmissão ao vivo suave e interativa. O projeto é compatível com as placas gráficas NVIDIA das séries 30 e 40 e é capaz de ser executado em tempo real a mais de 25 fps. Os usuários podem criar e usar humanos digitais em etapas simples, permitindo a geração de vídeo com áudio e a interação em tempo real.
Lista de funções
- Desempenho em tempo real: compatível com as placas de vídeo NVIDIA das séries 30 e 40 para uma experiência interativa suave em tempo real.
- Aprendizado com poucas tentativas: o sistema é capaz de aprender com um pequeno número de exemplos para gerar respostas realistas.
- Preparação do vídeo: use o script data_preparation para preparar os dados do vídeo.
- Driver de áudio: suporta a condução de pessoas digitais por meio de arquivos de áudio para gerar vídeo sincronizado.
- Entrada de microfone em tempo real: suporta operação em tempo real por meio de microfone.
Usando a Ajuda
Criação de ambiente e descompressão de arquivos de modelo
- Crie um ambiente virtual e ative-o:
conda create -n dh_live python=3.12 conda activate dh_live - Instale a dependência:
pip install torch --index-url https://download.pytorch.org/whl/cu124 pip install -r requirements.txt - Descompacte os arquivos do modelo:
- Linux.
cd ponto de controle cat render.pth.gz.001 render.pth.gz.002 > render.pth.gz gzip -d -c render.pth.gz > render.pth - Windows: extraia o arquivo de ponto de verificação usando o 7zip ou o WinRAR.
- Linux.
Preparação de vídeo
- fazer uso de
data_preparation.pyVídeo de preparação do roteiro:python data_preparation.py SEU_VIDEO_PATHOs resultados serão armazenados no
. /video_dataCatálogo.
Execução com arquivos de áudio
- Certifique-se de que o arquivo de áudio esteja no formato .wav com uma taxa de amostragem de 16 kHz, mono de 16 bits.
- Execute o script de demonstração:
python demo.py video_data/test video_data/audio0.wav 1.mp4
operação em tempo real
- Use o microfone para operação em tempo real:
python demo_avatar.py
problemas comuns
- Falha ao descompactar o arquivo de modeloObservação: Certifique-se de que todos os arquivos de subvolume estejam completos e descompactados corretamente.
- Formato de arquivo de áudio incorretoUse um arquivo .wav em conformidade.
