SVFR: uma estrutura unificada para implementar o reparo de faces em vídeos, reparando vídeos antigos com retratos em preto e branco e desfocados

Introdução geral

O SVFR (Stable Video Face Restoration) é uma estrutura unificada para restauração de faces em vídeo que suporta as tarefas de restauração básica de faces (BFR), coloração, reparo e suas combinações. A estrutura utiliza priores generativos e de movimento para integrar informações específicas da tarefa por meio de uma estrutura unificada de restauração de faces para melhorar a qualidade da restauração e a estabilidade temporal. O SVFR foi projetado para enfrentar os desafios da consistência temporal, dos artefatos de movimento e dos dados limitados de vídeo de alta qualidade na restauração de faces em vídeo. O projeto foi desenvolvido por Zhiyao Wang et al. e tem código aberto no GitHub, onde o código e os modelos pré-treinados estão disponíveis para pesquisas acadêmicas e não comerciais.

Lista de funções

• Restauração facial básica (BFR)Correção de detalhes do rosto em vídeos de baixa qualidade.
• coloraçãoCor: Adiciona cor ao vídeo em preto e branco.
• correçõesCorrigir as partes ausentes do vídeo.
• Portfólio de tarefasBFR: Qualquer combinação de BFR, coloração e restauração é suportada.
• consistência de tempoR: Aprimoramento da consistência temporal da restauração de vídeo por meio de geração e movimento prévio.
• Modelo de pré-treinamentoForneça uma variedade de modelos pré-treinados para que os usuários possam começar rapidamente.

Usando a Ajuda

Processo de instalação

1. Criação do ambiente Conda::

   conda create -n svfr python=3.9 -y
conda activate svfr

2. Instalando o PyTorchEscolha a versão CUDA correta para seu hardware, por exemplo:

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2

3. Instalação de dependências::

   pip install -r requirements.txt

4. Baixar pontos de controleDownload manual e colocação no diretório especificado.

Processo de uso

1. raciocínio de tarefa única::

   python3 infer.py --config config/infer.yaml --task_ids 0 --input_path . /assert/lq/lq1.mp4 --output_dir . /results/

• task_id: 0 Indica a restauração básica da face (BFR)
• task_id: 1 Indica a coloração
• task_id: 2 Indica restauração

1. raciocínio combinatório multitarefa::

   python3 infer.py --config config/infer.yaml ---task_ids 0,1,2 --input_path . /assert/lq/lq3.mp4 --output_dir . /results/

• task_ids: 0,1 denota BFR e coloração
• task_ids: 0,1,2 Indica BFR, coloração e restauração

1. Raciocínio com máscaras de reparo::

   python3 infer.py --config config/infer.yaml ---task_ids 0,1,2 --input_path . /assert/lq/lq3.mp4 --output_dir . /results/ ---mask_path . /assert/mask/lq3.png

Fluxo de operação detalhado da função

1. Restauração facial básica (BFR)::
   • Selecione o caminho do vídeo de entrada e o diretório de saída.
   • Defina o ID da tarefa como 0.
   • Execute o comando de raciocínio para gerar o vídeo reparado.
2. coloração::
   • Selecione o caminho do vídeo de entrada e o diretório de saída.
   • Defina a ID da tarefa como 1.
   • Execute o comando de inferência para gerar o vídeo colorido.
3. correções::
   • Selecione o caminho do vídeo de entrada e o diretório de saída.
   • Defina a ID da tarefa como 2.
   • Execute o comando de raciocínio para gerar o vídeo reparado.
4. Portfólio de tarefas::
   • Selecione o caminho do vídeo de entrada e o diretório de saída.
   • Defina o ID da tarefa como o ID da tarefa combinada, por exemplo, 0,1 para BFR e coloração.
   • Execute os comandos de inferência para gerar o vídeo após o processamento da tarefa combinada.
5. Raciocínio com máscaras de reparo::
   • Selecione o caminho do vídeo de entrada, o diretório de saída e o caminho do arquivo de máscara.
   • Defina o ID da tarefa como o ID da tarefa combinada, por exemplo, 0,1,2 para BFR, Coloração e Reparo.
   • Execute o comando de inferência para gerar o vídeo com a máscara de reparo processada.