1) Hintergrund und Themen
Mit der raschen Entwicklung der Technologie der Künstlichen Intelligenz (KI), insbesondere derDiffusionsmodellFortschritten ist die KI in der Lage, sehr realistische Porträtbilder zu erzeugen. Zum Beispiel können Bilder wieInstantIDDiese Technologie benötigt nur ein einziges Foto, um mehrere neue Bilder mit denselben Identifikationsmerkmalen zu erzeugen. Diese Technologie hat zwar viele Anwendungsszenarien, wie die Erstellung personalisierter Avatare, birgt aber auch neue Risiken für die Privatsphäre:
- Unerlaubter MissbrauchSkrupellose Personen können diese Technologie nutzen, um falsche Personenfotos für Betrug, Identitätsdiebstahl und andere bösartige Zwecke zu erstellen.
- Verletzung der PrivatsphäreDie Fotos von Personen können ohne Genehmigung verwendet werden, um eine Vielzahl von Bildern zu erstellen, die die Privatsphäre verletzen.
Daher ist die Frage, wie man Porträts vor dem Missbrauch dieser Technologie schützen kann, zu einem dringenden Problem geworden.
2. die Unzulänglichkeiten der bestehenden Methoden
Derzeit gibt es zwei Hauptkategorien von KI-Methoden zur Erstellung von Porträtbildern:
2.1 Auf Feinabstimmung basierender Ansatz
- Repräsentative TechnologieDreamBooth, LoRA, etc.
- TheorieDurch Feinabstimmung des KI-Modells, damit es charakteristische Bilder erzeugen kann.
- NachteileMehrere Bilder sind für das Training erforderlich, was ein komplexer und zeitaufwändiger Prozess ist und sich nicht für eine schnelle Generierung oder groß angelegte Anwendungen eignet.
2.2 Encoder-basierte Verfahren
- Repräsentative TechnologieInstantID, IP-Adapter, usw.
- TheorieIdentitätsmerkmale werden aus einem einzelnen Porträtfoto mit Hilfe eines vorher trainierten Gesichtscodierers extrahiert, und dann werden neue Bilder mit denselben Identitätsmerkmalen erzeugt.
- BlickwinkelEs wird nur ein Foto benötigt und der Vorgang ist schnell und einfach.
- NachteileLeichterer Missbrauch, da kein komplexer Schulungsprozess erforderlich ist.
Bestehende Schutzmethoden zielen hauptsächlich auf Feinabstimmungsmethoden ab und bieten keinen wirksamen Schutz gegen kodiererbasierte Methoden.
3) IDProtector: ein neues Schutzprogramm
Um die oben genannten Probleme zu lösen, wird in diesem Papier eine Methode vorgeschlagen, dieIDProtectoreiner neuen Methodik. Der Kerngedanke der Methode ist:
- Hinzufügen von nicht wahrnehmbarem Störgeräusch zu Bilderndie verhindert, dass das KI-Erzeugungsmodell die Identität der Person auf dem Bild richtig erkennt, und somit die Erzeugung von Bildern verhindert, die der Identität des Originalbildes ähnlich sind.
3.1 Hauptmerkmale
- EffizienzIDProtector verwendet einen auf **ViT (Visual Transformer)** basierenden Kodierer, der gegnerisches Rauschen so schnell erzeugt, dass es nur 0,2 Sekunden dauert, um ein Bild zu schützen, weit schneller als andere bestehende Methoden.
- VielseitigkeitDer Ansatz ist für eine breite Palette von kodiererbasierten AI-Generierungsmodellen optimiert, darunter InstantID, IP-Adapter, IP-Adapter Plus und PhotoMaker, um einen umfassenderen Schutz zu bieten.
- RobustheitDas von IDProtector erzeugte Rauschen ist resistent gegen gängige Bildverarbeitungsprozesse wie z.B.:
- JPEG-KomprimierungDas Rauschen bleibt bestehen, auch wenn das Bild komprimiert wird.
- Zuschneiden und GrößenänderungRauschen kann auch dann noch funktionieren, wenn das Bild beschnitten oder in der Größe verändert wird.
- FlächenausrichtungResisting the effects of alignment processing of faces by AI-generated models.
- UnwahrnehmbarkeitDas hinzugefügte Rauschen ist für das menschliche Sehsystem unsichtbar und beeinträchtigt die visuelle Qualität des Bildes nicht.
3.2 Funktionsprinzipien
- Vorverarbeitung des EingangsbildesÄndern Sie die Größe des eingegebenen Porträtfotos auf 224 x 224 Pixel und geben Sie es in das IDProtector-Modell ein.
- Erzeugen von adversarialem RauschenIDProtector: Das IDProtector-Modell erzeugt eine Rauschkarte mit denselben Abmessungen wie die Originalkarte und fügt sie der Originalkarte hinzu.
- Geschützte BilderzeugungDie Hinzufügung von Rauschen stört den Prozess der Extraktion von Gesichtsmerkmalen durch das generative KI-Modell und verhindert, dass es Bilder erzeugt, die der Identität des Originalbildes ähneln.
Abbildung 1: Schematische Darstellung der IDProtector-Methode. Das Eingangsbild wird zunächst auf 224 × 224 Pixel verkleinert und dann in das adversarische Rauschkodierungsmodell eingespeist. Das Modell gibt ein verrauschtes Bild aus, das zu dem Originalbild hinzugefügt wird, um ein geschütztes Bild zu erhalten. Dieses Bild hindert das generative KI-Modell daran, Gesichtsmerkmale korrekt zu extrahieren, um die Schutzwirkung zu erzielen.
4. experimentelle Ergebnisse
4.1 Schutzwirkungen
- Reduzierte IdentitätsähnlichkeitIDProtector ist in der Lage, die Identitätsähnlichkeit zwischen dem generierten Bild und dem Originalbild deutlicher zu reduzieren als bestehende Methoden. Zum Beispiel reduziert IDProtector beim InstantID-Modell die Identitätsähnlichkeit um mehr als 0,4, während andere Methoden sie nur um höchstens 0,1 reduzieren können.
- Erkennungsrate von GesichternUm eine umfassende Bewertung zu gewährleisten, verwendeten die Forscher auch den InsightFace-Detektor, um Gesichter in den erzeugten Bildern zu erkennen. Die Ergebnisse zeigen, dass der IDProtector die Gesichtserkennungsrate nicht beeinträchtigt, was die Zuverlässigkeit seiner Schutzwirkung bestätigt.
Abbildung 2: Qualitativer Vergleich mit der Basismethode. Der IDProtector führt zu signifikanteren Unterschieden im Gesicht über den gleichen Störungsbereich.
4.2 Zeit und Bildqualität
- SchnellerIDProtector schützt durchschnittlich 0,173 Sekunden pro Bild, weniger als 1% der schnellsten existierenden Methoden.
- Höhere BildqualitätIDProtector beeinträchtigt die Bildqualität weniger und hat höhere PSNR- und SSIM-Werte als andere Methoden.
4.3 Fähigkeit zur Verallgemeinerung auf ungesehene Daten und Modelle
- Fähigkeit zur Verallgemeinerung auf ungesehene DatensätzeDer IDProtector wurde mit dem VGG-Gesichtsdatensatz getestet, der während des Trainings nicht gesehen wurde, und die Ergebnisse zeigen, dass sein Schutz zwischen den Datensätzen fast unverändert ist, was auf eine starke Generalisierungsfähigkeit schließen lässt.
- Fähigkeit zur Verallgemeinerung auf ungesehene ModelleZusätzlich zu den beim Training verwendeten Modellen testete IDProtector auch andere KI-generierte Modelle, einschließlich einiger proprietärer Modelle (z.B. Midjourney und Jing Gou), mit ebenso zufriedenstellenden Ergebnissen.
4.4 Robustheit
- Widerstandsfähigkeit gegenüber gängigen BildverarbeitungsoperationenIDProtector ist robust gegenüber Vorgängen wie JPEG-Komprimierung, Beschneidung, Rauschaddition und affiner Transformation. Selbst nach diesen Vorgängen ist IDProtector noch in der Lage, das Bild wirksam zu schützen.
5. schlussfolgerung
IDProtector bietet eine innovative Lösung zum Schutz von Porträtfotos vor Missbrauch durch KI-basierte Generierungstechniken, indem es dem Bild nicht wahrnehmbares Störgeräusch hinzufügt. Seine Effizienz, Vielseitigkeit, Robustheit und Unwahrnehmbarkeit machen es zu einem effektiven Werkzeug zum Schutz der Privatsphäre von Gesichtern.
6. die Zukunftsaussichten
Zukünftige Forschungen könnten die Unwahrnehmbarkeit von IDProtector weiter optimieren und gleichzeitig seine starken Schutzfunktionen beibehalten. Darüber hinaus könnte seine Anwendung auf andere Arten von Medieninhalten, wie z. B. Videos, erforscht werden, um einen umfassenderen Schutz der Privatsphäre zu gewährleisten.
Deutsch (Sie) 
简体中文 
English 
日本語 
Português do Brasil