IDProtector : un moyen de protéger les portraits contre les abus de la technologie générée par l'IA

1. le contexte et les enjeux

Avec le développement rapide de la technologie de l'intelligence artificielle (IA), en particulier lamodèle de diffusionGrâce aux progrès réalisés, l'IA a pu générer des portraits très réalistes. Par exemple, des images commeInstantIDCette technologie ne nécessite qu'une seule photo pour générer plusieurs nouvelles images présentant les mêmes caractéristiques d'identification. Si cette technologie présente de nombreux scénarios d'application, comme la création d'avatars personnalisés, elle pose également de nouveaux risques en matière de protection de la vie privée :

• Abus non autoriséLes personnes peu scrupuleuses peuvent utiliser cette technologie pour générer de fausses photographies personnelles à des fins de fraude, d'usurpation d'identité et d'autres objectifs malveillants.
• violation de la vie privéeLes photographies de personnes peuvent être utilisées sans autorisation pour générer une variété d'images en violation de la vie privée.

Par conséquent, la question de savoir comment protéger les portraits contre l'utilisation abusive de cette technologie est devenue pressante.

2. les lacunes des méthodologies existantes

Actuellement, les méthodes d'IA pour générer des images de portraits se répartissent en deux catégories principales :

2.1 Approche basée sur le réglage fin

• Technologie représentative: DreamBooth, LoRA, etc.
• théorieEn affinant le modèle d'IA pour lui permettre de générer des images spécifiques aux personnages.
• inconvénientsLa formation : Plusieurs images sont nécessaires pour la formation, ce qui est un processus complexe et fastidieux, et ne convient pas à la génération rapide ou aux applications à grande échelle.

2.2 Méthodes basées sur le codeur

• Technologie représentative: InstantID, IP-Adapter, etc.
• théorieLe projet : Les caractéristiques d'identité sont extraites d'une seule photographie de portrait à l'aide d'un codeur facial pré-entraîné, puis de nouvelles images avec les mêmes caractéristiques d'identité sont générées.
• avantageLe processus est simple et rapide, une seule photo suffit.
• inconvénientsLes avantages : plus facile à utiliser car aucun processus de formation complexe n'est nécessaire.

Les méthodes de protection existantes sont principalement axées sur des techniques de réglage fin et n'offrent pas de protection efficace contre les méthodes basées sur le codage.

3. IDProtector : un nouveau programme de protection

Afin de résoudre les problèmes susmentionnés, le présent document propose une méthode appeléeIDProtectord'une nouvelle méthodologie. L'idée centrale de la méthode est la suivante :

• Ajout d'un bruit contradictoire imperceptible aux imagesqui empêche le modèle de génération d'IA d'identifier correctement l'identité de la personne dans l'image, empêchant ainsi la génération d'images similaires à l'identité de l'image originale.

3.1 Caractéristiques principales

1. l'efficacitéIDProtector utilise un encodeur basé sur **ViT (Visual Transformer)** qui génère un bruit adverse si rapidement qu'il ne lui faut que 0,2 seconde pour protéger une image, ce qui est beaucoup plus rapide que les autres méthodes existantes.
2. polyvalenceL'approche est optimisée pour un large éventail de modèles de génération d'IA basés sur des encodeurs, notamment InstantID, IP-Adapter, IP-Adapter Plus et PhotoMaker, afin d'assurer une protection plus complète.
3. robustesseLe bruit contradictoire généré par l'IDProtector résiste aux opérations courantes de traitement d'images telles que :
   • Compression JPEGLe bruit reste valable même si l'image est compressée.
   • Recadrage et redimensionnementLe bruit peut fonctionner même si l'image est recadrée ou redimensionnée.
   • alignement des faces: Résister aux effets du traitement de l'alignement des visages par des modèles générés par l'IA.
4. imperceptibilitéLe bruit ajouté est invisible pour le système visuel humain et n'affecte pas la qualité visuelle de l'image.

3.2 Principes de fonctionnement

1. Prétraitement de l'image d'entréeLa photo portrait est redimensionnée à 224 x 224 pixels et introduite dans le modèle IDProtector.
2. Génération d'un bruit contradictoireLe modèle IDProtector génère une carte de bruit aux mêmes dimensions que la carte originale et l'ajoute à cette dernière.
3. Génération d'images protégéesL'ajout de bruit perturbe le processus d'extraction des caractéristiques faciales par le modèle génératif de l'IA, l'empêchant de générer des images qui ressemblent à l'identité de l'image d'origine.

   Figure 1 : Schéma de la méthode IDProtector. L'image d'entrée est d'abord redimensionnée à 224 × 224 pixels, puis introduite dans le modèle de codeur de bruit contradictoire. Le modèle produit une image bruitée qui est ajoutée à l'image originale pour obtenir une image protégée. Cette image empêche le modèle génératif d'IA d'extraire correctement les caractéristiques du visage pour obtenir l'effet de protection.

4. résultats expérimentaux

4.1 Effets de protection

• Similitude d'identité réduiteIDProtector est capable de réduire la similitude d'identité entre l'image générée et l'image originale de manière plus significative que les méthodes existantes. Par exemple, sur le modèle InstantID, IDProtector réduit la similitude d'identité de plus de 0,4, alors que les autres méthodes ne peuvent la réduire que de 0,1 au maximum.
• Taux de détection des visagesPour garantir l'exhaustivité de l'évaluation, les chercheurs ont également utilisé le détecteur InsightFace pour détecter les visages dans les images générées. Les résultats montrent que l'IDProtector n'affecte pas le taux de détection des visages, ce qui valide la fiabilité de son effet de protection.

  Figure 2 : Comparaison qualitative avec la méthode de base. L'IDProtector conduit à des différences faciales plus significatives sur la même plage de perturbation.

4.2 Temps et qualité de l'image

• Plus rapideIDProtector protège en moyenne 0,173 seconde par image, soit moins de 1% que les méthodes existantes les plus rapides.
• Meilleure qualité d'imageIDProtector est moins destructeur pour la qualité de l'image et présente des valeurs PSNR et SSIM plus élevées que les autres méthodes.

  

4.3 Capacité à généraliser à des données et des modèles inédits

• Capacité de généralisation à des ensembles de données inéditsL'IDProtector a été testé sur l'ensemble de données VGG Face, qui n'avait pas été vu pendant la formation, et les résultats ont montré que sa protection était pratiquement inchangée entre les ensembles de données, ce qui suggère qu'il a une forte capacité de généralisation.
• Capacité de généralisation à des modèles inéditsEn plus des modèles utilisés lors de la formation, IDProtector a testé d'autres modèles générés par l'IA, y compris certains modèles propriétaires (par exemple Midjourney et Jing Gou), avec des résultats tout aussi satisfaisants.

  

4.4 Robustesse

• Résistance aux opérations courantes de traitement d'imagesIDProtector est résistant aux opérations telles que la compression JPEG, le recadrage, l'ajout de bruit et la transformation affine. Même après ces opérations, IDProtector est toujours en mesure de protéger efficacement l'image.

  

5. conclusion

IDProtector fournit une solution innovante pour protéger les photos de portraits contre les abus par des techniques de génération d'IA basées sur un encodeur, en ajoutant un bruit contradictoire imperceptible à l'image. Son efficacité, sa polyvalence, sa robustesse et son imperceptibilité en font un outil efficace pour protéger la confidentialité des visages.

6. les perspectives d'avenir

Les recherches futures pourraient permettre d'optimiser l'imperceptibilité de l'IDProtector tout en maintenant ses fortes capacités de protection. En outre, son application à d'autres types de contenus médiatiques, tels que la vidéo, pourrait être étudiée afin de fournir une protection plus complète de la vie privée.