CodeFormer: restauración facial de imágenes y vídeos, restauración de fotos antiguas, ofrece una versión de despliegue con un solo clic

CodeFormer Introducción general

CodeFormer es una base de código para la reparación robusta de rostros a ciegas, desarrollada por un equipo de investigadores del S-Lab de la Universidad Tecnológica de Nanyang y presentada en NeurIPS 2022. Utilizando la tecnología Codebook Lookup Transformer, el proyecto pretende mejorar la reparación de rostros en imágenes, especialmente cuando se trata de imágenes de baja calidad o corruptas.CodeFormer ofrece una amplia gama de funciones, como reparación de rostros, coloreado y parcheado, para una gran variedad de necesidades de procesamiento de imágenes. Además, el proyecto admite la entrada de vídeo y ofrece demostraciones en línea fáciles de usar, modelos preentrenados e instrucciones detalladas de uso.

Deben leerse estrictamente las instrucciones de uso o no funcionará correctamente. Cuando se vende formalmente comercialmente como restauración de fotos antiguas, se requiere una base PS simple, de lo contrario no va a lograr el mismo efecto en línea.

CodeFormer intenta mejorar fotos antiguas / arreglar retratos con IA

CodeFormer Reparación facial

CodeFormer Realce y restauración del color facial

CodeFormer Reparación facial

Lista de funciones de CodeFormer

• restauración facialMejora la claridad y el detalle de las imágenes faciales corruptas o de baja calidad con la tecnología de conversión de búsqueda de libros de códigos.
• Coloreado de imágenes: Añade color natural a imágenes en blanco y negro o descoloridas.
• Reparación de imágenes: Repara las partes que faltan de una imagen para completarla.
• Tratamiento de vídeo: Admite la reparación y mejora de rostros en vídeos.
• Demostración en líneaFunción de demostración en línea: se ofrece una función de demostración en línea para que los usuarios puedan experimentar la restauración directamente en sus navegadores.

Ayuda de CodeFormer

Proceso de instalación

1. Clonación del código base::

   git clone https://github.com/sczhou/CodeFormer
   cd CodeFormer
   

    

2. Crear y activar un entorno virtual::

   conda create -n codeformer python=3.8 -y
   conda activate codeformer
   

    

3. Instalación de dependencias::

   pip install -r requirements.txt
   python basicsr/setup.py develop
   conda install -c conda-forge dlib
   

    

4. Descargar modelo preentrenado::

   python scripts/download_pretrained_models.py facelib
   python scripts/download_pretrained_models.py dlib
   python scripts/download_pretrained_models.py CodeFormer
   

    

Proceso de utilización

1. Preparación de los datos de prueba: Coloque la imagen de prueba en el inputs/TestWhole carpeta. Si necesita probar imágenes de caras recortadas y alineadas, puede colocarlas en la carpeta inputs/cropped_faces carpeta.
2. Ejecutar el código de inferencia::

   python inference_codeformer.py --input_path inputs/TestWhole --output_path results
   

   Este comando procesará el inputs/TestWhole con todas las imágenes y guarde los resultados en la carpeta results carpeta.

Función Flujo de operaciones

1. restauración facial::
   • Coloque la imagen que desea restaurar en el inputs/TestWhole Carpeta.
   • Ejecuta el código de inferencia para generar la imagen reparada.
2. Coloreado de imágenes::
   • Coloque una imagen en blanco y negro en el inputs/TestWhole Carpeta.
   • utilizar inference_colorization.py Guión para colorear.
3. Reparación de imágenes::
   • Coloque la imagen a parchear en el inputs/TestWhole Carpeta.
   • utilizar inference_inpainting.py Scripts para parchear.
4. Tratamiento de vídeo::
   • Coloca el archivo de vídeo en la carpeta especificada.
   • Ejecuta el código de inferencia para procesar las caras del vídeo.

Restauración facial (recorte y alineación del rostro)

# Para caras recortadas y alineadas
python inference_codeformer.py -w 0.5 --has_aligned --input_path [carpeta de entrada]

Mejora general de la imagen

# Para toda la imagen
# Añade '---bg_upsampler realesrgan' para realzar las regiones de fondo con Real-ESRGAN
# Añade "--face_upsample" para aumentar la muestra de la cara restaurada con Real-ESRGAN.
python inference_codeformer.py -w 0.7 --input_path [carpeta de imágenes/ruta de imágenes]

mejora de vídeo

# Para videoclips
python inference_codeformer.py --bg_upsampler realrgan --face_upsample -w 1.0 --input_path

El peso de fidelidad w se sitúa en [0, 1]. En general, w más pequeño tiende a producir resultados de mayor calidad, mientras que w más grande produce resultados de mayor fidelidad.

Los resultados se guardarán en la carpeta de resultados.

Kit de implantación de CodeFormer con un solo clic

CodeFormer colab run

CodeFormer HuggingFace corre

CodeFormer para Windows

CodeFormer WebUI (Contraseña niugee51)