BEN2: modelo de aprendizaje profundo para eliminar rápidamente el fondo de imágenes y vídeos

Introducción general

BEN2 (Background Erase Network 2) es un modelo de aprendizaje profundo desarrollado por Prama LLC específicamente diseñado para eliminar automáticamente el fondo de una imagen y generar una imagen en primer plano. El modelo emplea una innovadora tubería Confidence Guided Matting (CGM) para procesar píxeles con menor confianza en el modelo base a través de una red de refinamiento, lo que resulta en una segmentación de primer plano de mayor precisión.BEN2 fue entrenado en DIS5k y en el conjunto de datos de segmentación propietario 22K de Prama LLC, y se desempeña excepcionalmente bien, especialmente en hair keying, 4K la segmentación de objetos y el refinamiento de bordes. Su paquete de instalación ocupa sólo 1,13 GB, y las instancias desplegadas oficialmente son capaces de incrustar una imagen 1080p en menos de 6 segundos, mientras que el procesamiento de una imagen 4K tarda unos 20 segundos.

Recomendación relacionada:removebg: eliminar fondo de imagen con un solo clic, removebg online gratis versión china

BEN2 Eliminar efecto de fondo de imagen

BEN2 elimina los efectos de fondo del vídeo, toma nota de la posición del micrófono

Lista de funciones

• Eliminación de antecedentes: Elimina automáticamente el fondo de la imagen y genera una máscara binaria y una imagen de primer plano.
• segmentación del primer planoSegmentación de primer plano de alta precisión para diversas escenas complejas.
• Soporte CUDA: Admite aceleración de GPU para mejorar la velocidad de procesamiento.
• API simpleProporciona una API limpia para facilitar la integración en diversas aplicaciones.
• Procesado de alta resolución: Admite el procesamiento de imágenes 4K para requisitos de alta resolución.
• Refinamiento de bordesMejora la precisión de la segmentación procesando los bordes a través de una red de grano fino.
• Tratamiento rápidoEl ejemplo de despliegue oficial es capaz de codificar imágenes 1080p en 6 segundos, y las imágenes 4K se procesan en unos 20 segundos.

Utilizar la ayuda

Proceso de instalación

1. Almacén de clonación:

   git clone https://huggingface.co/PramaLLC/BEN2
cd BEN2

2. Instale la dependencia:

   pip install -r requirements.txt

Proceso de utilización

1. Importe las bibliotecas y modelos necesarios:

   from PIL import Image
import torch
from model import BEN_Base
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = BEN_Base().to(device).eval()
model.load_state_dict(torch.load('BEN_Base.pth'))

2. Carga la imagen y realiza la inferencia:

   image = Image.open('path_to_image.png')
mask, foreground = model.inference(image)
mask.save('mask.png')
foreground.save('foreground.png')

Funciones principales

1. Eliminación de antecedentes::
   • Tras cargar la imagen, el modelo genera automáticamente una máscara de fondo y una imagen de primer plano.
   • La imagen de la máscara se guarda comomask.pngLa imagen en primer plano se guarda comoforeground.png.
2. segmentación del primer plano::
   • El modelo pasa a través de la tubería Confidence Guided Matting (CGM) para segmentar con precisión el primer plano.
   • Ideal para fondos complejos e imágenes ricas en detalles como pelo, bordes, etc.
3. Procesado de alta resolución::
   • Admite el procesamiento de imágenes 4K para garantizar el efecto de segmentación de imágenes de alta resolución.
   • Adecuado para escenarios de aplicación que requieren un procesamiento de imágenes de alta precisión y calidad.
4. Refinamiento de bordes::
   • Mejore la precisión de la segmentación procesando los bordes mediante redes de grano fino.
   • Especialmente adecuado para imágenes que requieren un tratamiento fino de los bordes, como fotos de productos, retratos, etc.
5. Tratamiento rápido::
   • El ejemplo de despliegue oficial es capaz de codificar imágenes 1080p en 6 segundos, y las imágenes 4K se procesan en unos 20 segundos.
   • Ideal para aplicaciones en las que es necesario procesar rápidamente un gran número de imágenes.