HelloMeme: gere imagens ou vídeos consistentes com ações de expressão local de alta fidelidade, Runway Act one open source ping pong!

Introdução geral

O HelloMeme é um projeto de código aberto desenvolvido pela HelloVision para gerar imagens e vídeos de alta qualidade por meio da integração do Spatial Knitting Attentions para incorporar condições de alto nível e alta fidelidade em modelos de difusão. O código do projeto e a implementação do modelo estão hospedados no GitHub e podem ser baixados e usados livremente pelos usuários. O HelloMeme oferece uma variedade de módulos funcionais, incluindo geração de imagens, geração de vídeos e integração com o Gradio e o ComfyUI A integração é fácil de usar para uma variedade de experimentos e aplicativos.

Relacionado:

LivePortrait: ferramenta de animação para gerar retratos dinâmicos a partir de imagens estáticas e vídeos(código aberto)

ConsisID: um mapa de referência de retratos para gerar vídeos consistentes com caracteres, integração rápida de vários terminais(código aberto)

Reface: substituição de rosto e geração de vídeo usando IA para criar imagens animadas divertidas (pago)

Lista de funções

• Geração de imagensGeração de imagens de alta qualidade a partir de imagens de referência e de drivers.
• Geração de vídeoGeração de vídeos de alta fidelidade com base em vídeos de referência e de motoristas.
• Integração com o GradioInterface Gradio: fornece uma interface Gradio para interação com o usuário.
• Integração com a ComfyUISuporte à interface ComfyUI para simplificar o processo de operação do usuário.
• módulo experimentalInclui uma variedade de códigos experimentais para facilitar ao usuário a realização de diferentes experimentos e testes.
• algoritmo eficienteOtimização de algoritmos para reduzir o uso de VRAM e melhorar a eficiência da geração.

Usando a Ajuda

Processo de instalação

1. Criação de um ambiente Conda::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. Instalação do PyTorch e do FFmpegConsulte os sites oficiais do PyTorch e do FFmpeg para obter informações detalhadas sobre a instalação.
3. Instalação de dependências::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. armazém de clones::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. código de execução::
   • Geração de imagens: bash
python inference_image.py

   • Geração de vídeo: bash
python inference_video.py

6. Instalando o aplicativo Gradio::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Função Fluxo de operação

Geração de imagens

1. Preparação da imagem de entradaPrepare a imagem de referência e a imagem da unidade.
2. Execute o script de geração de imagem::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. Exibir resultados geradosImagem: A imagem gerada será salva no diretório especificado.

Geração de vídeo

1. Preparar a entrada de vídeoPreparar vídeos de referência e vídeos de motoristas.
2. Executar o script de geração de vídeo::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. Exibir resultados geradosVídeo: O vídeo gerado será salvo no diretório especificado.

Usando a interface do Gradio

1. Iniciando o aplicativo Gradio::

   python app.py

2. Acesso via navegadorAbra seu navegador e acesse http://localhost:7860A interface Gradio pode ser usada para geração de imagens e vídeos.

Usando a interface ComfyUI

1. Instalar a ComfyUIConsulte o site oficial da ComfyUI para obter informações sobre a instalação.
2. Executar o HelloMeme::

   python comfyui_hellomeme.py

3. Operação por meio da interface ComfyUISelecione a função de geração de imagem ou vídeo conforme necessário, carregue os arquivos de referência e de driver e clique no botão Generate (Gerar).

advertência

• versão de dependênciaObservação: Observe os requisitos de versão dos difusores; as versões atualmente suportadas são Difusores==0.31.0.
• Uso de VRAMNota: Ao gerar um vídeo, quanto mais longa for a unidade de vídeo, mais VRAM será necessária, portanto, ajuste-a de acordo com a situação real.
• Download do modeloNa primeira execução, todos os modelos serão baixados automaticamente, o que pode levar mais tempo.