CodeFormer: restauração facial de imagens e vídeos, restauração de fotos antigas, oferece versão de implantação com um clique

Introdução geral ao CodeFormer

O CodeFormer é uma base de código para reparo robusto de faces cegas, desenvolvida por uma equipe de pesquisadores do S-Lab, da Universidade Tecnológica de Nanyang, e apresentada no NeurIPS 2022. Usando a tecnologia Codebook Lookup Transformer, o projeto tem como objetivo aprimorar o reparo de faces em imagens, especialmente ao lidar com imagens de baixa qualidade ou corrompidas. O CodeFormer oferece uma ampla gama de recursos, incluindo reparo de faces, coloração e correção, para uma variedade de necessidades de processamento de imagens. Além disso, o projeto suporta entrada de vídeo e oferece demonstrações on-line fáceis de usar, modelos pré-treinados e instruções detalhadas de uso.

As instruções de uso devem ser lidas rigorosamente ou não funcionarão corretamente. Quando vendido comercialmente como restauração de fotos antigas, é necessário usar uma base PS simples, caso contrário não obterá o mesmo efeito on-line.

CodeFormer tenta aprimorar fotos antigas / corrigir retratos com IA

CodeFormer Reparo facial

CodeFormer Aprimoramento e restauração da cor facial

CodeFormer Reparo facial

Lista de recursos do CodeFormer

• restauração facialAprimore a clareza e os detalhes de imagens faciais de baixa qualidade ou corrompidas com a tecnologia do conversor de pesquisa de livro de códigos.
• Coloração de imagensCor: Adicione cor natural a imagens em preto e branco ou desbotadas.
• Reparo de imagemReparo: repara partes ausentes de uma imagem para torná-la completa.
• Processamento de vídeoSuporte para reparo e aprimoramento de faces em vídeos.
• Demonstração on-lineDemonstração on-line: Uma função de demonstração on-line é fornecida para que os usuários possam experimentar a restauração diretamente em seus navegadores.

Ajuda do CodeFormer

Processo de instalação

1. Clonagem da base de código::

   git clone https://github.com/sczhou/CodeFormer
   cd CodeFormer
   

    

2. Criar e ativar um ambiente virtual::

   conda create -n codeformer python=3.8 -y
   conda activate codeformer
   

    

3. Instalação de dependências::

   pip install -r requirements.txt
   python basicsr/setup.py develop
   conda install -c conda-forge dlib
   

    

4. Download do modelo pré-treinado::

   python scripts/download_pretrained_models.py facelib
   python scripts/download_pretrained_models.py dlib
   python scripts/download_pretrained_models.py CodeFormer
   

    

Processo de uso

1. Preparação de dados de testeColocar a imagem de teste no arquivo inputs/TestWhole pasta. Se você precisar testar imagens de faces cortadas e alinhadas, poderá colocá-las na pasta inputs/cropped_faces pasta.
2. Executar o código de inferência::

   python inference_codeformer.py --input_path inputs/TestWhole --output_path results
   

   Esse comando processará o inputs/TestWhole com todas as imagens nela e salve os resultados na pasta results pasta.

Função Fluxo de operação

1. restauração facial::
   • Coloque a imagem a ser restaurada na seção inputs/TestWhole Pasta.
   • Execute o código de inferência para gerar a imagem reparada.
2. Coloração de imagens::
   • Coloque uma imagem em preto e branco na seção inputs/TestWhole Pasta.
   • fazer uso de inference_colorization.py Script para colorir.
3. Reparo de imagem::
   • Coloque a imagem a ser corrigida na seção inputs/TestWhole Pasta.
   • fazer uso de inference_inpainting.py Scripts para aplicação de patches.
4. Processamento de vídeo::
   • Coloque o arquivo de vídeo na pasta especificada.
   • Execute o código de inferência para processar os rostos no vídeo.

Restauração facial (corte e alinhamento do rosto)

# Para faces cortadas e alinhadas
python inference_codeformer.py -w 0.5 --has_aligned --input_path [pasta de entrada]

Aprimoramento geral da imagem

# Para a imagem inteira
# Adicione '---bg_upsampler realesrgan' para aprimorar as regiões de fundo com Real-ESRGAN
# Adicionar '--face_upsample' para fazer upsample adicional do rosto restaurado com Real-ESRGAN
python inference_codeformer.py -w 0.7 --input_path [pasta da imagem/caminho da imagem]

aprimoramento de vídeo

# Para clipes de vídeo
python inference_codeformer.py --bg_upsampler realesrgan --face_upsample -w 1.0 --input_path

O peso de fidelidade w está localizado em [0, 1]. Em geral, um w menor tende a produzir resultados de maior qualidade, enquanto um w maior produz resultados de maior fidelidade.

Os resultados serão salvos na pasta de resultados.

Kit de implantação de um clique do CodeFormer

Este conteúdo foi ocultado pelo autor. Digite o código de verificação para visualizar o conteúdo

Captcha:

Preste atenção ao número público do WeChat deste site, responda "CAPTCHA, um tipo de teste de desafio-resposta (computação)", obtenha o código de verificação. Pesquise no WeChat por "Chefe do Círculo de Compartilhamento de IA"ou"Aparência-AI"ou WeChat escaneando o lado direito do código QR pode prestar atenção a esse número público do WeChat do site.