¡HelloMeme: Genera local de alta fidelidad de expresión acción coherente imagen o vídeo, Runway Acto uno de código abierto de ping pong!

Introducción general

HelloMeme es un proyecto de código abierto desarrollado por HelloVision para generar imágenes y vídeos de alta calidad mediante la integración de Spatial Knitting Attentions para incrustar condiciones de alto nivel y alta fidelidad en modelos de difusión. El código del proyecto y la implementación del modelo están alojados en GitHub y pueden ser descargados y utilizados libremente por los usuarios. HelloMeme proporciona una variedad de módulos funcionales, incluyendo generación de imágenes, generación de vídeo e integración con Gradio y ComfyUI La integración es fácil de usar para una gran variedad de experimentos y aplicaciones.

Relacionado:

LivePortrait: herramienta de animación para generar retratos dinámicos a partir de imágenes fijas y vídeos(código abierto)

ConsisID: un mapa de referencia de retratos para generar vídeos coherentes con los personajes, rápida integración multiterminal(código abierto)

Reface: sustitución de caras y generación de vídeos mediante IA para crear divertidas imágenes animadas (de pago)

Lista de funciones

• Generación de imágenes: Genera imágenes de alta calidad a partir de imágenes de referencia y de controladores.
• Generación de vídeo: Genera vídeos de alta fidelidad basados en vídeos de referencia y de conductores.
• Integración de Gradio: Proporciona una interfaz Gradio para la interacción con el usuario.
• Integración de ComfyUI: Soporta la interfaz ComfyUI para simplificar el proceso de operación del usuario.
• Módulos experimentales: Incluye una variedad de códigos experimentales para facilitar al usuario la realización de diferentes experimentos y pruebas.
• algoritmo eficaz: Optimiza los algoritmos para reducir el uso de VRAM y mejorar la eficiencia de la generación.

Utilizar la ayuda

Proceso de instalación

1. Creación de un entorno Conda::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. Instalación de PyTorch y FFmpegPara una instalación más detallada, consulte los sitios web oficiales de PyTorch y FFmpeg.
3. Instalación de dependencias::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. almacén de clones::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. código en ejecución::
   • Generación de imágenes: bash
python inference_image.py

   • Generación de vídeo: bash
python inference_video.py

6. Instalación de la aplicación Gradio::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Función Flujo de operaciones

Generación de imágenes

1. Preparación de la imagen de entradaPrepara la imagen de referencia y la imagen de la unidad.
2. Ejecutar el script de generación de imágenes::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. Ver resultados generados: La imagen generada se guardará en el directorio especificado.

Generación de vídeo

1. Preparar la entrada de vídeo: Prepara vídeos de referencia y vídeos de conductores.
2. Ejecutar el script de generación de vídeo::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. Ver resultados generados: El vídeo generado se guardará en el directorio especificado.

Uso de la interfaz de Gradio

1. Iniciar la aplicación Gradio::

   python app.py

2. Acceso a través del navegadorAbre tu navegador y visita http://localhost:7860La interfaz de Gradio puede utilizarse para generar imágenes y vídeos.

Uso de la interfaz ComfyUI

1. Instalar ComfyUIPor favor, consulte el sitio web oficial de ComfyUI para la instalación.
2. Ejecutar HelloMeme::

   python comfyui_hellomeme.py

3. Funcionamiento a través de la interfaz ComfyUISeleccione la función de generación de imagen o vídeo que desee, cargue los archivos de referencia y controladores y haga clic en el botón Generar.

advertencia

• versión de dependenciaNota: Tenga en cuenta el requisito de versión de los difusores, actualmente las versiones compatibles son diffusers==0.31.0.
• Uso de VRAMCuando se genera vídeo, cuanto más largo es el vídeo de la unidad, más VRAM se requiere, así que por favor ajústelo de acuerdo a la situación real.
• Descarga de modelos: En la primera ejecución, todos los modelos se descargarán automáticamente, lo que puede llevar más tiempo.