BEN2: Modelo de aprendizagem profunda para remoção rápida de fundo de imagens e vídeos

Introdução geral

O BEN2 (Background Erase Network 2) é um modelo de aprendizagem profunda desenvolvido pela Prama LLC especificamente projetado para remover automaticamente o plano de fundo de uma imagem e gerar uma imagem de primeiro plano. O modelo emprega um inovador pipeline CGM (Confidence Guided Matting) para processar pixels com menor confiança no modelo de base por meio de uma rede de refinamento, resultando em uma segmentação de primeiro plano com maior precisão. O BEN2 foi treinado no DIS5k e no conjunto de dados de segmentação de 22K de propriedade da Prama LLC e apresenta um desempenho excepcional, especialmente em hair keying, processamento 4K processamento, segmentação de objetos e refinamento de bordas. Seu pacote de instalação tem apenas 1,13 GB, e as instâncias oficialmente implantadas são capazes de codificar uma imagem de 1080p em menos de 6 segundos, enquanto o processamento de uma imagem 4K leva cerca de 20 segundos.

Recomendação relacionada:removebg: remova o plano de fundo da imagem com um clique, removebg online versão chinesa gratuita

BEN2 Remover efeito de plano de fundo da imagem

O BEN2 remove os efeitos de fundo do vídeo e observa a posição do microfone

Lista de funções

• Remoção de plano de fundoImagem de primeiro plano: remove automaticamente o plano de fundo da imagem e gera uma máscara binária e uma imagem de primeiro plano.
• segmentação de primeiro planoSegmentação de primeiro plano de alta precisão para uma variedade de cenas complexas.
• Suporte a CUDASuporte à aceleração de GPU para aumentar a velocidade de processamento.
• API simplesAPI: fornece uma API limpa para facilitar a integração em vários aplicativos.
• Processamento de alta resoluçãoProcessamento de imagem 4K: Suporta processamento de imagem 4K para requisitos de alta resolução.
• Refinamento de bordasMelhorar a precisão da segmentação processando bordas por meio de uma rede de granulação fina.
• Processamento rápidoO exemplo oficial de implementação é capaz de codificar imagens de 1080p em 6 segundos, e as imagens de 4K são processadas em cerca de 20 segundos.

Usando a Ajuda

Processo de instalação

1. Armazém de Clonagem:

   git clone https://huggingface.co/PramaLLC/BEN2
cd BEN2

2. Instale a dependência:

   pip install -r requirements.txt

Processo de uso

1. Importe as bibliotecas e os modelos necessários:

   from PIL import Image
import torch
from model import BEN_Base
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = BEN_Base().to(device).eval()
model.load_state_dict(torch.load('BEN_Base.pth'))

2. Carregue a imagem e realize a inferência:

   imagem = Image.open('path_to_image.png')
máscara, primeiro plano = model.inference(image)
mask.save('mask.png')
primeiro plano.save('foreground.png')

Funções principais

1. Remoção de plano de fundo::
   • Depois de carregar a imagem, o modelo gera automaticamente uma máscara de fundo e uma imagem de primeiro plano.
   • A imagem da máscara é salva comomáscara.pngA imagem de primeiro plano é salva comoprimeiro plano.png.
2. segmentação de primeiro plano::
   • O modelo passa pelo pipeline Confidence Guided Matting (CGM) para segmentar com precisão o primeiro plano.
   • Ideal para fundos complexos e imagens com muitos detalhes, como cabelos, bordas, etc.
3. Processamento de alta resolução::
   • Oferece suporte ao processamento de imagens 4K para garantir o efeito de segmentação de imagens de alta resolução.
   • Adequado para cenários de aplicação que exigem processamento de imagens de alta precisão e qualidade.
4. Refinamento de bordas::
   • Melhore a precisão da segmentação processando bordas por meio de redes de granulação fina.
   • Especialmente adequado para imagens que exigem processamento fino de bordas, como fotos de produtos, retratos, etc.
5. Processamento rápido::
   • O exemplo de implementação oficial é capaz de codificar imagens de 1080p em 6 segundos, e as imagens de 4K são processadas em cerca de 20 segundos.
   • Ideal para cenários de aplicação em que um grande número de imagens precisa ser processado rapidamente.