SVFR: un marco unificado para implementar la reparación de rostros en vídeo, reparar vídeos en blanco y negro, retratos borrosos y antiguos

Introducción general

SVFR (Stable Video Face Restoration) es un marco unificado para la restauración de rostros en vídeo que admite las tareas de restauración básica de rostros (BFR), coloreado, reparación y sus combinaciones. El marco utiliza priors generativos y de movimiento para integrar información específica de la tarea a través de un marco unificado de restauración facial con el fin de mejorar la calidad de la restauración y la estabilidad temporal. El proyecto fue desarrollado por Zhiyao Wang et al. y es de código abierto en GitHub, donde el código y los modelos preentrenados están disponibles para la investigación académica y no comercial.

Lista de funciones

• Restauración facial básica (BFR): Corrige los detalles de las caras en los vídeos de baja calidad.
• colorear: Añade color al vídeo en blanco y negro.
• fija: Arregla las partes que faltan en el vídeo.
• Cartera de tareas: Se admite cualquier combinación de BFR, coloreado y restauración.
• coherencia temporalMejora de la coherencia temporal de la restauración de vídeo mediante generación y movimiento previos.
• Modelo de preentrenamientoProporcionar una variedad de modelos preentrenados para que los usuarios puedan empezar rápidamente.

Utilizar la ayuda

Proceso de instalación

1. Creación del entorno Conda::

   conda create -n svfr python=3.9 -y
conda activate svfr

2. Instalación de PyTorchPor ejemplo, elija la versión CUDA adecuada para su hardware:

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. Instalación de dependencias::

   pip install -r requirements.txt

4. Descargar Puntos de control: Descargar manualmente y colocar en el directorio especificado.

Proceso de utilización

1. razonamiento monotarea::

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path ./assert/lq/lq1.mp4 --output_dir ./results/

• task_id: 0 Indica Restauración Básica de la Cara (BFR)
• task_id: 1 Indica la coloración
• task_id: 2 Indica restauración

1. razonamiento combinatorio multitarea::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/

• task_ids: 0,1 denota BFR y coloración
• task_ids: 0,1,2 Indica BFR, coloración y restauración

1. Razonamiento con máscaras de reparación::

   python3 infer.py --config config/infer.yaml --task_ids 0,1,2 --input_path ./assert/lq/lq3.mp4 --output_dir ./results/ --mask_path ./assert/mask/lq3.png

Flujo detallado de funcionamiento de las funciones

1. Restauración facial básica (BFR)::
   • Seleccione la ruta del vídeo de entrada y el directorio de salida.
   • Establezca el ID de la tarea en 0.
   • Ejecuta el comando de razonamiento para generar el vídeo reparado.
2. colorear::
   • Seleccione la ruta del vídeo de entrada y el directorio de salida.
   • Establezca el ID de tarea en 1.
   • Ejecuta el comando de inferencia para generar el vídeo coloreado.
3. fija::
   • Seleccione la ruta del vídeo de entrada y el directorio de salida.
   • Establezca el ID de tarea en 2.
   • Ejecuta el comando de razonamiento para generar el vídeo reparado.
4. Cartera de tareas::
   • Seleccione la ruta del vídeo de entrada y el directorio de salida.
   • Establezca el ID de tarea en el ID de la tarea combinada, por ejemplo, 0,1 para BFR y coloración.
   • Ejecute los comandos de inferencia para generar el vídeo tras el procesamiento de la tarea combinada.
5. Razonamiento con máscaras de reparación::
   • Seleccione la ruta del vídeo de entrada, el directorio de salida y la ruta del archivo de máscara.
   • Establezca el ID de tarea en el ID de la tarea combinada, por ejemplo 0,1,2 para BFR, Coloración y Reparación.
   • Ejecute el comando de inferencia para generar el vídeo con la máscara de reparación procesada.