IDProtector: una forma de proteger los retratos del abuso de la tecnología generada por la IA

1. Antecedentes y problemas

Con el rápido desarrollo de la tecnología de Inteligencia Artificial (IA), especialmente lamodelo de difusiónavances, la IA ha sido capaz de generar imágenes de retratos muy realistas. Por ejemplo, imágenes comoInstantIDEsta tecnología requiere una sola foto para generar múltiples imágenes nuevas con las mismas características identificativas. Aunque esta tecnología tiene muchos escenarios de aplicación, como la creación de avatares personalizados, también plantea nuevos riesgos para la privacidad:

• Abusos no autorizadosEl objetivo de esta tecnología es que personas sin escrúpulos puedan generar fotografías personales falsas con fines fraudulentos, de usurpación de identidad y otros fines malintencionados.
• violación de la privacidad: Las fotografías de personas pueden utilizarse sin autorización para generar diversas imágenes que violan la intimidad personal.

Por ello, cómo proteger a los retratados del uso indebido de esta tecnología se ha convertido en una cuestión acuciante.

2. Deficiencias de las metodologías existentes

Actualmente, los métodos de IA para generar imágenes de retratos se dividen en dos categorías principales:

2.1 Enfoque basado en el ajuste fino

• Tecnología representativa: DreamBooth, LoRA, etc.
• teoríaEl modelo de inteligencia artificial se perfecciona para que pueda generar imágenes específicas de cada personaje.
• inconvenientesEl entrenamiento requiere múltiples imágenes, lo que supone un proceso complejo y lento que no es adecuado para la generación rápida o las aplicaciones a gran escala.

2.2 Métodos basados en codificadores

• Tecnología representativa: InstantID, Adaptador IP, etc.
• teoríaEl objetivo del proyecto es extraer los rasgos de identidad de una única fotografía de retrato mediante un codificador facial previamente entrenado y, a continuación, generar nuevas imágenes con los mismos rasgos de identidad.
• vantageSólo se necesita una foto y el proceso es rápido y sencillo.
• inconvenientesMás fácil de utilizar porque no requiere un proceso de formación complejo.

Los métodos de protección existentes se centran principalmente en técnicas basadas en el ajuste fino y carecen de una protección eficaz contra los métodos basados en codificadores.

3. IDProtector: un nuevo programa de protección

Para resolver los problemas anteriores, este documento propone un método denominadoIDProtectorde una nueva metodología. La idea central del método es

• Añadir ruido adverso imperceptible a las imágenesque impide que el modelo de generación de IA identifique correctamente la identidad de la persona en la imagen, impidiendo así la generación de imágenes similares a la identidad de la imagen original.

3.1 Características principales

1. eficacia: IDProtector emplea un codificador basado en **ViT (Visual Transformer)** que genera ruido adverso tan rápidamente que sólo tarda 0,2 segundos en proteger una imagen, mucho más rápido que otros métodos existentes.
2. versatilidadEl enfoque está optimizado para una amplia gama de modelos de generación de IA basados en codificadores, incluidos InstantID, IP-Adapter, IP-Adapter Plus y PhotoMaker, con el fin de ofrecer una protección más completa.
3. robustezEl ruido adverso generado por el IDProtector es resistente a las operaciones habituales de tratamiento de imágenes, como:
   • Compresión JPEG: El ruido sigue siendo válido aunque se comprima la imagen.
   • Recortar y redimensionar: El ruido puede seguir funcionando aunque se recorte o redimensione la imagen.
   • alineación de caras: Resistencia a los efectos del procesamiento alineado de rostros por modelos generados por IA.
4. imperceptibilidadEl ruido añadido es invisible para el sistema visual humano y no afecta a la calidad visual de la imagen.

3.2 Principios de funcionamiento

1. Preprocesamiento de imágenes de entrada: Cambie el tamaño de la foto vertical de entrada a 224 x 224 píxeles e introdúzcala en el modelo IDProtector.
2. Generación de ruido adversarialEl modelo IDProtector genera un mapa de ruido con las mismas dimensiones que el mapa original y lo añade a éste.
3. Generación de imágenes protegidasLa adición de ruido perturba el proceso de extracción de rasgos faciales por parte del modelo generativo de IA, impidiéndole generar imágenes que se asemejen a la identidad de la imagen original.

   Figura 1: Esquema del método IDProtector. La imagen de entrada se redimensiona primero a 224 × 224 píxeles y luego se introduce en el modelo codificador de ruido adversarial. El modelo genera una imagen con ruido que se añade a la imagen original para obtener una imagen protegida. Esta imagen impide que el modelo generativo de IA extraiga correctamente los rasgos faciales para lograr el efecto de protección.

4. Resultados experimentales

4.1 Efectos de la protección

• Menor similitud de identidadIDProtector: IDProtector es capaz de reducir la similitud de identidad entre la imagen generada y la imagen original de forma más significativa que los métodos existentes. Por ejemplo, en el modelo InstantID, IDProtector reduce la similitud de identidad en más de 0,4, mientras que otros métodos solo pueden reducirla en 0,1 como máximo.
• Índice de detección facialPara garantizar la exhaustividad de la evaluación, los investigadores utilizaron también el detector InsightFace para detectar rostros en las imágenes generadas. Los resultados muestran que IDProtector no afecta a la tasa de detección de caras, lo que valida la fiabilidad de su efecto protector.

  Figura 2: Comparación cualitativa con el método de referencia. El IDProtector produce diferencias faciales más significativas en el mismo intervalo de perturbación.

4.2 Tiempo y calidad de imagen

• Más rápidoEl IDProtector protege una media de 0,173 segundos por imagen, menos del 1% de los métodos más rápidos existentes.
• Mayor calidad de imagenIDProtector: IDProtector es menos destructivo para la calidad de la imagen y tiene valores PSNR y SSIM más altos que otros métodos.

  

4.3 Capacidad de generalización a datos y modelos desconocidos

• Capacidad de generalización a conjuntos de datos desconocidosEl IDProtector se probó en el conjunto de datos VGG Face, que no se había visto durante el entrenamiento, y los resultados mostraron que su protección prácticamente no variaba entre conjuntos de datos, lo que sugiere que tiene una gran capacidad de generalización.
• Capacidad de generalización a modelos desconocidosAdemás de los modelos utilizados durante el entrenamiento, IDProtector probó otros modelos generados por IA, incluidos algunos modelos propios (por ejemplo, Midjourney y Jing Gou), con resultados igualmente satisfactorios.

  

4.4 Solidez

• Resistencia a las operaciones habituales de tratamiento de imágenesIDProtector: IDProtector es resistente a operaciones como la compresión JPEG, el recorte, la adición de ruido y la transformación afín. Incluso después de estos procesos, IDProtector sigue siendo capaz de proteger la imagen con eficacia.

  

5. Conclusión

IDProtector ofrece una solución innovadora para proteger las fotos de retratos de usos indebidos mediante técnicas de generación de IA basadas en codificadores, añadiendo ruido adverso imperceptible a la imagen. Su eficacia, versatilidad, robustez e imperceptibilidad lo convierten en una herramienta eficaz para proteger la privacidad facial.

6. Perspectivas de futuro

Las investigaciones futuras podrían optimizar aún más la imperceptibilidad del IDProtector, manteniendo al mismo tiempo su gran capacidad de protección. Además, podría estudiarse su aplicación a otros tipos de contenidos multimedia, como el vídeo, para ofrecer una protección de la intimidad más completa.