IDProtector: AI 생성 기술의 남용으로부터 초상화를 보호하는 방법

1.1K 00

1. 배경 및 이슈

인공지능(AI) 기술의 급속한 발전, 특히확산 모델의 발전으로 AI는 매우 사실적인 인물 이미지를 생성할 수 있게 되었습니다. 예를 들어 다음과 같은 이미지가 있습니다.InstantID이러한 기술은 하나의 사진만으로 동일한 식별 특성을 가진 여러 개의 새로운 이미지를 생성할 수 있습니다. 이 기술은 개인화된 아바타 생성 등 다양한 활용 시나리오를 가지고 있지만, 새로운 개인정보 보호 위험도 존재합니다:

무단 남용부도덕한 개인은 이 기술을 사용하여 사기, 신원 도용 및 기타 악의적인 목적으로 허위 개인 사진을 생성할 수 있습니다.
개인 정보 침해개인 사생활을 침해하는 다양한 이미지를 생성하기 위해 사람들의 사진을 무단으로 사용할 수 있습니다.

따라서 이 기술의 오용으로부터 초상화를 보호하는 방법이 시급한 과제가 되었습니다.

2. 기존 방법론의 단점

현재 인물 이미지를 생성하는 AI 방법은 크게 두 가지로 나뉩니다:

2.1 미세 조정 기반 접근 방식

대표 기술드림부스, LoRA 등
이론AI 모델을 미세 조정하여 캐릭터별 이미지를 생성할 수 있도록 합니다.
단점훈련에는 여러 개의 이미지가 필요하며, 이는 빠른 생성이나 대규모 애플리케이션에는 적합하지 않은 복잡하고 시간이 많이 소요되는 프로세스입니다.

2.2 인코더 기반 방법

대표 기술InstantID, IP-아답터 등
이론미리 학습된 얼굴 인코더를 사용하여 한 장의 인물 사진에서 신원 특징을 추출한 다음 동일한 신원 특징을 가진 새로운 이미지를 생성합니다.
vantage사진 한 장만 필요하며 절차가 빠르고 간편합니다.
단점복잡한 교육 과정이 필요하지 않으므로 남용하기 쉽습니다.

기존의 보호 방법은 주로 미세 조정 기반 기술을 대상으로 하며 인코더 기반 방법에 대한 효과적인 보호가 부족합니다.

3. IDProtector: 새로운 보호 프로그램

위의 문제를 해결하기 위해 이 백서에서는 다음과 같은 방법을 제안합니다.IDProtector의 새로운 방법론을 소개합니다. 이 방법의 핵심 아이디어는 다음과 같습니다:

이미지에 눈에 띄지 않는 적대적 노이즈 추가하기을 사용하여 AI 생성 모델이 이미지 속 인물의 신원을 정확하게 식별하지 못하도록 하여 원본 이미지의 신원과 유사한 이미지가 생성되는 것을 방지합니다.

3.1 주요 기능

효율성기존 방식보다 훨씬 빠른 0.2초 만에 이미지를 보호할 수 있을 정도로 빠르게 적대적 노이즈를 생성하는 **ViT(Visual Transformer)** 기반 인코더를 사용하는 IDProtector.
다용도성이 접근 방식은 보다 포괄적인 보호를 제공하기 위해 InstantID, IP 어댑터, IP 어댑터 플러스 및 PhotoMaker를 포함한 광범위한 인코더 기반 AI 생성 모델에 최적화되어 있습니다.
견고성IDProtector에서 생성된 적대적 노이즈는 다음과 같은 일반적인 이미지 처리 작업에 내성이 있습니다:
- JPEG 압축이미지가 압축되어도 노이즈는 유효합니다.
- 자르기 및 크기 조정이미지가 잘리거나 크기가 조정되더라도 노이즈는 계속 작동할 수 있습니다.
- 얼굴 정렬AI 생성 모델에 의한 얼굴 정렬 처리 효과에 저항합니다.
불감증추가된 노이즈는 사람의 시각 시스템에는 보이지 않으며 사진의 화질에 영향을 미치지 않습니다.

3.2 운영 원칙

입력 이미지 사전 처리입력한 인물 사진의 크기를 224 x 224픽셀로 조정하고 IDProtector 모델에 입력합니다.
적대적 노이즈 생성IDProtector 모델은 원본 맵과 동일한 치수의 노이즈 맵을 생성하여 원본 맵에 추가합니다.
보호된 이미지 생성노이즈가 추가되면 AI 생성 모델의 얼굴 특징 추출 프로세스가 중단되어 원본 이미지의 신원과 유사한 이미지를 생성하지 못합니다.
그림 1: IDProtector 방법의 개략도. 먼저 입력 이미지의 크기를 224×224픽셀로 조정한 다음 적대적 노이즈 인코더 모델에 공급합니다. 이 모델은 원본 이미지에 노이즈가 추가된 이미지를 출력하여 보호된 이미지를 얻습니다. 이 이미지는 AI 생성 모델이 보호 효과를 얻기 위해 얼굴 특징을 올바르게 추출하는 것을 방지합니다.

4. 실험 결과

4.1 보호 효과

신원 유사성 감소IDProtector는 생성된 이미지와 원본 이미지 간의 신원 유사도를 기존 방법보다 더 크게 줄일 수 있습니다. 예를 들어, InstantID 모델에서 다른 방법은 최대 0.1까지만 신원 유사도를 줄일 수 있는 반면, IDProtector는 0.4 이상 유사도를 줄입니다.
얼굴 인식률평가의 포괄성을 보장하기 위해 연구원들은 생성된 이미지에서 얼굴을 감지하기 위해 InsightFace 감지기를 사용했습니다. 그 결과 IDProtector가 얼굴 감지율에 영향을 미치지 않는 것으로 나타나 보호 효과의 신뢰성을 검증했습니다.
그림 2: 기준 방법과의 정성적 비교. IDProtector는 동일한 섭동 범위에서 더 큰 얼굴 차이를 유발합니다.

4.2 시간 및 이미지 품질

더 빠르게IDProtector는 이미지당 평균 0.173초로 기존 가장 빠른 방법의 1%보다 더 빠르게 보호합니다.
더 높은 이미지 품질IDProtector는 다른 방법보다 화질 손상이 적고 PSNR 및 SSIM 값이 더 높습니다.

4.3 보이지 않는 데이터 및 모델에 대한 일반화 기능

보이지 않는 데이터 집합으로 일반화할 수 있는 기능훈련 중에 볼 수 없었던 VGG 얼굴 데이터 세트에서 IDProtector를 테스트한 결과, 데이터 세트 간에 거의 변화가 없는 것으로 나타나 강력한 일반화 능력을 가지고 있음을 알 수 있었습니다.
보이지 않는 모델에 일반화할 수 있는 기능훈련에 사용된 모델 외에도 IDProtector는 일부 독점 모델(예: Midjourney 및 Jing Gou)을 포함한 다른 AI 생성 모델을 테스트했으며, 똑같이 만족스러운 결과를 얻었습니다.