ColorFlow: sombreamento de desenhos animados, sombreamento automático de imagens em preto e branco para melhorar a consistência e a qualidade da cor da imagem

Introdução geral

O ColorFlow é uma ferramenta de coloração automática de sequências de imagens desenvolvida pela equipe ARC da Tencent para resolver o problema de coloração automática de sequências de imagens em preto e branco. A ferramenta utiliza um pipeline de sombreamento aprimorado por recuperação para gerar com precisão as cores de vários elementos, incluindo a cor do cabelo e a roupa do personagem, a partir de um conjunto de imagens de referência, garantindo que as cores sejam consistentes com as imagens de referência. O ColorFlow emprega uma estrutura de modelagem de difusão trifásica combinada com um mecanismo de autoatenção para obter sombreamento de imagem de alta qualidade e consistência de cores. A ferramenta é especialmente adequada para aplicações industriais em séries de desenhos animados ou histórias em quadrinhos, melhorando significativamente a capacidade de controle e a consistência da identidade da coloração da imagem.

Lista de funções

• Recuperar tubos de coloração aprimoradosRecuperação e correspondência de cores por meio de um conjunto de imagens de referência para garantir a consistência das cores.
• Tubos de coloração de contextoColoração de imagens usando informações contextuais para manter a identidade consistente de personagens e objetos.
• Pipeline de super-resolução guiadaAumenta a resolução da imagem e aprimora os detalhes e a qualidade da imagem.
• Mecanismo de autoatençãoUso de mecanismos de autoatenção em modelos de difusão para aprendizado robusto de contexto e correspondência de cores.
• Benchmarks do ColorFlow-BenchReferência: fornece uma referência abrangente para avaliar o desempenho do modelo.

Usando a Ajuda

Processo de instalação

1. armazém de clones::

   git clone https://github.com/TencentARC/ColorFlow
cd ColorFlow

2. Configuração do ambiente PythonVerifique se o Anaconda ou o Miniconda está instalado e, em seguida, crie e ative um ambiente Python e instale as dependências necessárias:

   conda create -n colourflow python=3.8.5
conda activate colourflow
pip install -r requirements.txt

3. Executar o aplicativoIniciar a interface do Gradio:

   python app.py

4. Acesso ao ColorFlowAbra o site http://localhost:7860 no navegador. Se estiver executando o aplicativo em um servidor remoto, substitua localhost pelo endereço IP ou nome de domínio do servidor.

Função Fluxo de operação

1. Recuperar a coloração aprimorada::
   • Faça o upload de um conjunto de imagens de referência e o ColorFlow recuperará e combinará automaticamente as cores.
   • Selecione a sequência de imagens em preto e branco a serem coloridas e o sistema fará a correspondência de cores e as colorirá de acordo com o conjunto de imagens de referência.
2. coloração sensível ao contexto::
   • O sistema analisa automaticamente as informações contextuais das sequências de imagens para garantir a identidade consistente de personagens e objetos.
   • Os usuários podem ajustar manualmente os parâmetros de correspondência de cores para obter os melhores resultados de sombreamento.
3. Super resolução de bootstrap::
   • Após a conclusão da coloração, o sistema executa automaticamente o processamento de super-resolução para aprimorar os detalhes e a qualidade da imagem.
   • Os usuários podem selecionar diferentes níveis de super-resolução para ajustar a qualidade da imagem de acordo com suas necessidades.

Instruções operacionais detalhadas

• Carregar uma imagem de referênciaClique no botão "Upload", selecione o arquivo de imagem de referência e o sistema executará automaticamente uma pesquisa de cores.
• Seleção de uma sequência de imagens em preto e brancoClique no botão "Select File" (Selecionar arquivo) para carregar uma sequência de imagens em preto e branco a serem coloridas.
• Ajuste dos parâmetros de correspondência de coresNa interface "Parameter Setting", os usuários podem ajustar os parâmetros relacionados à correspondência de cores, como a intensidade da cor, a precisão da correspondência e assim por diante.
• Exibir resultados de coloraçãoClique no botão "Start Colouring" (Iniciar coloração) e o sistema executará automaticamente o processo de coloração, e o usuário poderá visualizar os resultados da coloração em tempo real.
• Salvar imagem para colorirQuando a coloração estiver concluída, clique no botão "Save" (Salvar) para salvar a imagem colorida localmente.