BEN2 : Modèle d'apprentissage profond pour la suppression rapide de l'arrière-plan dans les images et les vidéos

Introduction générale

BEN2 (Background Erase Network 2) est un modèle d'apprentissage profond développé par Prama LLC spécifiquement conçu pour supprimer automatiquement l'arrière-plan d'une image et générer une image de premier plan. Le modèle utilise un pipeline innovant de Confidence Guided Matting (CGM) pour traiter les pixels ayant une faible confiance dans le modèle de base à travers un réseau de raffinement, résultant en une segmentation de premier plan plus précise.BEN2 a été entraîné sur DIS5k et l'ensemble de données de segmentation propriétaire 22K de Prama LLC, et réalise des performances exceptionnelles, en particulier dans les domaines de l'hair keying, du traitement 4K la segmentation des objets et l'affinement des contours. Son package d'installation ne pèse que 1,13 Go, et les instances officiellement déployées sont capables d'incruster une image 1080p en moins de 6 secondes, tandis que le traitement d'une image 4K prend environ 20 secondes.

Recommandation connexe :removebg : supprimer l'arrière-plan d'une image en un seul clic, removebg en ligne version chinoise gratuite

BEN2 Supprimer l'effet de fond d'image

BEN2 supprime les effets d'arrière-plan vidéo, note la position du microphone

Liste des fonctions

• Suppression des antécédentsLe logiciel : supprime automatiquement l'arrière-plan de l'image et génère un masque binaire ainsi qu'une image d'avant-plan.
• segmentation des premiers plansLa segmentation de l'avant-plan : segmentation de haute précision de l'avant-plan pour une variété de scènes complexes.
• Prise en charge de CUDALa technologie de l'accélération du GPU permet d'améliorer la vitesse de traitement.
• API simpleLe système de gestion de l'information : fournit une API propre pour faciliter l'intégration dans diverses applications.
• Traitement à haute résolutionTraitement d'images 4K pour les exigences de haute résolution.
• Raffinement des bordsAméliorer la précision de la segmentation en traitant les arêtes par le biais d'un réseau à grain fin.
• Traitement rapideL'exemple de déploiement officiel est capable d'encoder des images 1080p en 6 secondes, et les images 4K sont traitées en 20 secondes environ.

Utiliser l'aide

Processus d'installation

1. Entrepôt de clonage :

   git clone https://huggingface.co/PramaLLC/BEN2
cd BEN2

2. Installer la dépendance :

   pip install -r requirements.txt

Processus d'utilisation

1. Importer les bibliothèques et les modèles nécessaires :

   from PIL import Image
import torch
from model import BEN_Base
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = BEN_Base().to(device).eval()
model.load_state_dict(torch.load('BEN_Base.pth'))

2. Charger l'image et effectuer l'inférence :

   image = Image.open('path_to_image.png')
mask, foreground = model.inference(image)
mask.save('mask.png')
foreground.save('foreground.png')

Principales fonctions

1. Suppression des antécédents: :
   • Après avoir chargé l'image, le modèle génère automatiquement un masque d'arrière-plan et une image de premier plan.
   • L'image du masque est enregistrée sous la formemask.pngL'image d'avant-plan est enregistrée sous la formeforeground.png.
2. segmentation des premiers plans: :
   • Le modèle passe par le pipeline Confidence Guided Matting (CGM) pour segmenter avec précision le premier plan.
   • Idéal pour les arrière-plans complexes et les images riches en détails tels que les cheveux, les bords, etc.
3. Traitement à haute résolution: :
   • Prise en charge du traitement des images 4K pour garantir l'effet de segmentation des images haute résolution.
   • Convient aux scénarios d'application qui exigent une grande précision et un traitement d'image de qualité.
4. Raffinement des bords: :
   • Améliorer la précision de la segmentation en traitant les arêtes par le biais de réseaux à grain fin.
   • Particulièrement adapté aux images nécessitant un traitement fin des bords, telles que les photos de produits, les portraits, etc.
5. Traitement rapide: :
   • L'exemple de déploiement officiel est capable d'incruster des images 1080p en 6 secondes, et les images 4K sont traitées en 20 secondes environ.
   • Idéal pour les applications où un grand nombre d'images doivent être traitées rapidement.