RAIN: captura en tiempo real de expresiones humanas reales para generar secuencias de vídeo de imágenes de anime

Introducción general

RAIN (Real-time Animation Of Infinite Video Stream) es un proyecto de código abierto diseñado para permitir la generación en tiempo real de efectos de animación para flujos de vídeo infinitos. Desarrollado por Pscgylotti, el proyecto ofrece una solución para la generación de vídeo en dispositivos de usuario comunes. Mediante el uso de las últimas técnicas de aprendizaje profundo , RAIN es capaz de generar un flujo de vídeo continuo basado en imágenes subidas por el usuario , aplicable a la producción de animación , efectos de vídeo y otros campos .

RAIN produce animación en tiempo real en dispositivos de consumo.

Lista de funciones

• Genere vídeos animados en tiempo real
• Soporte para la generación de vídeo en dispositivos de usuario
• Ofrece una variedad de modelos y pesos preentrenados
• Compatibilidad con la aceleración TensorRT
• Proporcionar la interfaz de la aplicación Gradio
• Admite múltiples ajustes de los parámetros de generación de vídeo

Utilizar la ayuda

Proceso de instalación

1. Asegúrese de que Python >= 3.10 está instalado.
2. Instalar PyTorch (versión recomendada >= 2.3.0), que puede descargarse de la página oficial de PyTorch.
3. Clone el repositorio del proyecto RAIN:

   git clone https://github.com/Pscgylotti/RAIN.git
cd RAIN

4. Instale las dependencias necesarias para el razonamiento:

   pip install -r requirements_inference.txt

Proceso de utilización

1. Descargar modelos y pesos preentrenados:
   • Descargue los pesos originales de RAIN de Google Drive o Huggingface Hub y póngalos en la carpetaweights/torch/Catálogo.
   • Descargue los demás archivos de modelo necesarios y colóquelos en los directorios apropiados (p. ej.weights/onnx/).
2. Inicie la aplicación Gradio:

   python gradio_app.py

Abra su navegador y visitehttp://localhost:7860/Sube el retrato de la parte superior del cuerpo de cualquier personaje de anime, ajusta los parámetros e inicia el morphing facial.

3. Ajuste los parámetros de generación de vídeo:
   • En la interfaz de Gradio, pueden ajustarse varios parámetros según sea necesario para obtener el mejor efecto de animación.
   • Se presta especial atención al ajuste de los parámetros relacionados con los ojos para garantizar una composición facial óptima.

Funciones detalladas

• Generar secuencias de vídeo en tiempo real: RAIN es capaz de generar flujos de vídeo continuos en tiempo real a partir de imágenes cargadas por el usuario, aptos para la producción de animaciones y efectos de vídeo.
• Soporte para imágenes subidas por el usuarioLos usuarios pueden cargar cualquier imagen y RAIN generará el flujo de vídeo correspondiente basándose en la imagen.
• Ajuste de los parámetros de generación de vídeoEl usuario puede ajustar los parámetros de generación para obtener el mejor efecto de animación.
• Compatibilidad con la aceleración TensorRTAceleración de TensorRT: Al activar la aceleración de TensorRT, RAIN puede completar la compilación del modelo en un periodo de tiempo más corto, lo que aumenta la velocidad de inferencia.
• Modelos preentrenados disponibles para descargarLos usuarios pueden descargar modelos preentrenados de múltiples plataformas para facilitar una rápida puesta en marcha.
• Compatible con múltiples marcos de aprendizaje profundoRAIN es compatible con diversos marcos de aprendizaje profundo, como PyTorch, lo que facilita el desarrollo secundario.

requisitos de hardware

• Ejecutar una demo de inferencia completa suele requerir unos 12 GiB de RAM del dispositivo.
• El modelo de síntesis requiere unos 8 GiB de RAM del dispositivo cuando se ejecuta solo.

Proyectos de referencia

El proyecto RAIN se basa en varios proyectos de código abierto , como AnimateAnyone, Moore-AnimateAnyone, Open-AnimateAnyone , etc., combinando las ventajas de estos proyectos para lograr una generación eficiente de animaciones en tiempo real .