SadTalker: Faça as fotos falarem | Áudio de sincronização de boca | Vídeo de sincronização de boca sintetizado | Pessoas digitais gratuitas

Introdução geral

O SadTalker é uma ferramenta de código aberto que combina uma única foto de retrato com um arquivo de áudio para criar vídeos realistas de cabeças falantes para uma ampla variedade de cenários, como mensagens personalizadas, conteúdo educacional e muito mais. O uso revolucionário de tecnologias de modelagem 3D, como ExpNet e PoseVAE, é excelente na captura de expressões faciais sutis e movimentos da cabeça. Os usuários podem usar a tecnologia SadTalker para projetos pessoais e comerciais, como mensagens, ensino ou marketing.

Aprimoramentos recomendados:SVLS: SadTalker aprimorado para gerar pessoas digitais usando vídeo de retratoO mais novo acréscimo à lista é uma pessoa digital gerada por vídeo, que foi atualizada de uma pessoa digital gerada por foto para uma pessoa digital gerada por vídeo, e que fala mais suavemente com a tecnologia de inserção de quadros.

Lista de funções

Sincronização de movimentos e expressões faciais usando áudio

• Converta fotos de retratos estáticos em vídeos em movimento
• Animação sincronizada de sincronização labial de arquivos de áudio

Oferece suporte ao modo de corpo inteiro e à função de aprimoramento da expressão

Fornece uma interface WebUI configurável

A tecnologia pode ser usada por meio da integração do Discord

Fornecer documentação detalhada de desenvolvimento e uso

Compatível com Windows, Linux/Unix e macOS

Usando a Ajuda

Instale o Anaconda, o Python e o git necessários
Siga a documentação para instalar o ambiente e fazer o download do modelo
Geração de animação usando WebUI nativa ou interface de linha de comando

Atenção:

• Escolha uma foto de retrato nítida e frontal para obter melhores resultados
• Use arquivos de áudio nítidos para garantir a sincronização labial precisa

Dependendo dos recursos disponíveis na Web, aqui estão as etapas básicas para usar o SadTalker:

1. Preparação ambiental:
   • Se você não tiver um ambiente Python, instale o Anaconda.
   • Instale o NVIDIA cuda-toolkit para usar a aceleração de GPU em computadores com placas de vídeo NVIDIA. O processamento será mais lento se apenas a CPU for usada.
2. Instalação de modelos e bibliotecas:
   • Faça o download e instale os arquivos de modelo e biblioteca necessários. Esses arquivos geralmente precisam ser colocados em um diretório específico, como./checkpoints/talvez./gfpgan/weights/.
3. Instalação da biblioteca de vídeos FFMPEG:
   • Instale o FFMPEG, que é necessário para gerar vídeos.
4. Instalação da biblioteca de conversão de voz TTS:
   • Instale a biblioteca edge-tts para converter texto em fala.
5. Usando a interface do usuário da Web:
   • Ao clicar no botãowebui.batInicie a interface de usuário da Web do SadTalker.
   • Na interface do usuário da Web, carregue a imagem na área especificada e defina os parâmetros ao converter a pessoa digital.
   • Depois de gerar um vídeo humano digital, você pode visualizar os resultados na interface.
6. Uso da linha de comando:
   • Se for necessário ter mais opções, o SadTalker pode ser usado por meio de scripts de linha de comando.
   • Ao usar a linha de comando, você pode executartask.shpara gerar tarefas com facilidade.
7. advertência:
   • Ao usá-lo, certifique-se de que a imagem seja de boa qualidade para obter os melhores resultados.
   • Se for encontrado um erro, comolibiomp5md.dllConflitos, tente encontrá-los noapp.pyDefinição de variáveis de ambiente emKMP_DUPLICATE_LIB_OK=TRUEpara consertá-lo.

As etapas acima são baseadas em tutoriais na Web e na experiência do usuário, e a operação exata pode variar. Recomenda-se consultar a documentação oficial do SadTalker e os tutoriais da comunidade para obter as instruções mais atualizadas e detalhadas.

Instalação do SadTalker

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Chefe do Círculo de Compartilhamento de IA"ou"Aparência-AI"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.