IDProtector: uma maneira de proteger retratos contra o abuso da tecnologia gerada por IA

1. histórico e problemas

Com o rápido desenvolvimento da tecnologia de Inteligência Artificial (IA), especialmente amodelo de difusãoavanços, a IA tem sido capaz de gerar imagens de retratos muito realistas. Por exemplo, imagens comoInstantIDEssa tecnologia requer apenas uma única foto para gerar várias imagens novas com as mesmas características de identificação. Embora essa tecnologia tenha muitos cenários de aplicação, como a criação de avatares personalizados, ela também apresenta novos riscos à privacidade:

• Abuso não autorizadoO que acontece é que indivíduos inescrupulosos podem usar essa tecnologia para gerar fotografias pessoais falsas para fraude, roubo de identidade e outros fins maliciosos.
• violação de privacidadeFoto: As fotos das pessoas podem ser usadas sem autorização para gerar uma variedade de imagens, violando a privacidade pessoal.

Portanto, como proteger os retratos do uso indevido dessa tecnologia tornou-se uma questão urgente.

2. deficiências das metodologias existentes

Atualmente, os métodos de IA para gerar imagens de retratos se enquadram em duas categorias principais:

2.1 Abordagem baseada em ajuste fino

• Tecnologia representativa: DreamBooth, LoRA, etc.
• teoriaAjuste fino do modelo de IA para permitir que ele gere imagens específicas de personagens.
• desvantagensImagem: São necessárias várias imagens para o treinamento, o que é um processo complexo e demorado, e não é adequado para geração rápida ou aplicações em grande escala.

2.2 Métodos baseados em codificadores

• Tecnologia representativaInstantID, IP-Adapter, etc.
• teoriaCaracterísticas de identidade: As características de identidade são extraídas de uma única fotografia de retrato usando um codificador facial pré-treinado e, em seguida, são geradas novas imagens com as mesmas características de identidade.
• vantagemO processo é rápido e fácil e só é necessária uma foto.
• desvantagensMais fácil de usar porque não é necessário um processo de treinamento complexo.

Os métodos de proteção existentes são voltados principalmente para técnicas baseadas em ajuste fino e não oferecem proteção eficaz contra métodos baseados em codificadores.

3. IDProtector: um novo programa de proteção

Para resolver os problemas acima, este documento propõe um método chamadoIDProtetorde uma nova metodologia. A ideia central do método é:

• Adição de ruído contraditório imperceptível às imagensque impede que o modelo de geração de IA identifique corretamente a identidade da pessoa na imagem, evitando assim a geração de imagens semelhantes à identidade da imagem original.

3.1 Principais recursos

1. eficiênciaIDProtector: O IDProtector emprega um codificador baseado em **ViT (Visual Transformer)** que gera ruído contraditório tão rapidamente que leva apenas 0,2 segundo para proteger uma imagem, muito mais rápido do que outros métodos existentes.
2. versatilidadeA abordagem é otimizada para uma ampla gama de modelos de geração de IA baseados em codificadores, incluindo InstantID, IP-Adapter, IP-Adapter Plus e PhotoMaker, para oferecer uma proteção mais abrangente.
3. robustezO ruído contraditório gerado pelo IDProtector é resistente a operações comuns de processamento de imagens, como:
   • Compactação JPEGRuído: O ruído permanece válido mesmo se a imagem for compactada.
   • Corte e redimensionamentoRuído: O ruído ainda pode funcionar mesmo se a imagem for cortada ou redimensionada.
   • alinhamento da faceResistência aos efeitos do processamento de alinhamento de faces por modelos gerados por IA.
4. imperceptibilidadeRuído: O ruído adicionado é invisível para o sistema visual humano e não afeta a qualidade visual da imagem.

3.2 Princípios de operação

1. Pré-processamento da imagem de entradaRedimensione a foto de retrato de entrada para 224 x 224 pixels e insira-a no modelo do IDProtector.
2. Geração de ruído adversarialO modelo IDProtector gera um mapa de ruído com as mesmas dimensões do mapa original e o adiciona ao mapa original.
3. Geração de imagens protegidasRuído: A adição de ruído interrompe o processo de extração de características faciais pelo modelo generativo de IA, impedindo-o de gerar imagens que se assemelhem à identidade da imagem original.
   
   

   

   Figura 1: Esquema do método IDProtector. A imagem de entrada é primeiro redimensionada para 224 × 224 pixels e, em seguida, alimentada no modelo de codificador de ruído contraditório. O modelo gera uma imagem com ruído que é adicionada à imagem original para obter uma imagem protegida. Essa imagem impede que o modelo generativo de IA extraia corretamente os recursos faciais para obter o efeito de proteção.

4. resultados experimentais

4.1 Efeitos de proteção

• Similaridade de identidade reduzidaO IDProtector é capaz de reduzir a semelhança de identidade entre a imagem gerada e a imagem original de forma mais significativa do que os métodos existentes. Por exemplo, no modelo InstantID, o IDProtector reduz a similaridade de identidade em mais de 0,4, enquanto outros métodos só conseguem reduzi-la em 0,1, no máximo.
• Taxa de detecção facialPara garantir a abrangência da avaliação, os pesquisadores também usaram o detector InsightFace para detectar rostos nas imagens geradas. Os resultados mostram que o IDProtector não afeta a taxa de detecção de faces, o que valida a confiabilidade de seu efeito de proteção.

  

  Figura 2: Comparação qualitativa com o método de linha de base. O IDProtector gera diferenças faciais mais significativas no mesmo intervalo de perturbação.

4.2 Tempo e qualidade da imagem

• Mais rápidoO IDProtector protege uma média de 0,173 segundos por imagem, menos de 1% dos métodos mais rápidos existentes.
• Maior qualidade de imagemO IDProtector é menos destrutivo para a qualidade da imagem e tem valores PSNR e SSIM mais altos do que outros métodos.

  

4.3 Capacidade de generalizar para dados e modelos não vistos

• Capacidade de generalizar para conjuntos de dados não vistosO IDProtector foi testado no conjunto de dados VGG Face, que não havia sido visto durante o treinamento, e os resultados mostram que sua proteção é quase inalterada entre os conjuntos de dados, sugerindo que ele tem uma forte capacidade de generalização.
• Capacidade de generalizar para modelos não vistosAlém dos modelos usados durante o treinamento, o IDProtector testou outros modelos gerados por IA, incluindo alguns modelos proprietários (por exemplo, Midjourney e Jing Gou), com resultados igualmente satisfatórios.

  

4.4 Robustez

• Resistência a operações comuns de processamento de imagensO IDProtector é resistente a operações como compressão JPEG, corte, adição de ruído e transformação afim. Mesmo após esses processos, o IDProtector ainda é capaz de proteger a imagem de forma eficaz.

  

5 Conclusão

O IDProtector oferece uma solução inovadora para proteger fotos de retratos contra o uso indevido por técnicas de geração de IA baseadas em codificadores, adicionando ruído adversário imperceptível à imagem. Sua eficiência, versatilidade, robustez e imperceptibilidade o tornam uma ferramenta eficaz para proteger a privacidade facial.

6. perspectivas futuras

Pesquisas futuras poderão otimizar ainda mais a imperceptibilidade do IDProtector e, ao mesmo tempo, manter seus sólidos recursos de proteção. Além disso, sua aplicação a outros tipos de conteúdo de mídia, como vídeo, poderia ser explorada para oferecer uma proteção de privacidade mais abrangente.