IDProtector: способ защитить портреты от злоупотребления технологиями, созданными искусственным интеллектом

1. Предпосылки и проблемы

С быстрым развитием технологий искусственного интеллекта (ИИ), особенномодель диффузииБлагодаря достижениям ИИ удалось создать очень реалистичные портретные изображения. Например, такие изображения, какInstantIDДля создания нескольких новых изображений с одинаковыми идентификационными характеристиками такой технологии достаточно одной фотографии. Хотя эта технология имеет множество сценариев применения, например, создание персонализированных аватаров, она также создает новые риски для конфиденциальности:

• Несанкционированное злоупотреблениеНедобросовестные люди могут использовать эту технологию для создания фальшивых личных фотографий в целях мошенничества, кражи личных данных и других злонамеренных целей.
• нарушение конфиденциальности: Фотографии людей могут быть использованы без разрешения для создания различных изображений, нарушающих неприкосновенность частной жизни.

Поэтому вопрос о том, как защитить портреты от неправомерного использования этой технологии, стал актуальным.

2. недостатки существующих методик

В настоящее время методы ИИ для создания портретных изображений делятся на две основные категории:

2.1 Подход, основанный на точной настройке

• Репрезентативная технология: DreamBooth, LoRA и др.
• теория: Тонкая настройка модели ИИ, позволяющая ей генерировать изображения, характерные для конкретного персонажа.
• недостатки: Для обучения требуется несколько изображений, что является сложным и трудоемким процессом, не подходящим для быстрого создания или крупномасштабного применения.

2.2 Методы, основанные на кодировании

• Репрезентативная технология: InstantID, IP-адаптер и т.д.
• теория: Идентификационные признаки извлекаются из одной портретной фотографии с помощью предварительно обученного кодировщика лица, а затем создаются новые изображения с теми же идентификационными признаками.
• vantage: Требуется только одна фотография, а сам процесс проходит быстро и легко.
• недостатки: Проще в использовании, так как не требуется сложный процесс обучения.

Существующие методы защиты в основном направлены на тонкую настройку и не обеспечивают эффективной защиты от методов, основанных на кодировании.

3. IDProtector: новая программа защиты

Для решения вышеуказанных проблем в данной работе предлагается метод, названныйIDProtectorновой методологии. Основная идея метода заключается в следующем:

• Добавление к изображениям незаметного неблагоприятного шумачто не позволяет модели генерации ИИ правильно идентифицировать личность человека на изображении, тем самым предотвращая генерацию изображений, похожих на личность исходного изображения.

3.1 Основные характеристики

1. эффективностьIDProtector использует кодер на основе **ViT (Visual Transformer)**, который генерирует враждебный шум настолько быстро, что для защиты изображения требуется всего 0,2 секунды, что намного быстрее, чем у других существующих методов.
2. универсальность: Подход оптимизирован для широкого спектра моделей генерации ИИ на основе кодировщиков, включая InstantID, IP-Adapter, IP-Adapter Plus и PhotoMaker, чтобы обеспечить более полную защиту.
3. прочность: Сопротивляющийся шум, генерируемый IDProtector, устойчив к обычным операциям обработки изображений, таким как:
   • Сжатие JPEG: Шум остается актуальным даже при сжатии изображения.
   • Обрезка и изменение размераШумы могут работать, даже если изображение обрезано или изменено в размере.
   • выравнивание торцов: Противодействие эффектам выравнивания при обработке лиц моделями, сгенерированными искусственным интеллектом.
4. незаметность: Добавленный шум невидим для зрительной системы человека и не влияет на качество изображения.

3.2 Принципы работы

1. Предварительная обработка входного изображения: Измените размер входной портретной фотографии до 224 x 224 пикселей и введите ее в модель IDProtector.
2. Генерация неблагоприятного шума: Модель IDProtector генерирует карту шума с теми же размерами, что и исходная карта, и добавляет ее к исходной карте.
3. Генерация защищенных изображений: Добавление шума нарушает процесс извлечения черт лица генеративной моделью ИИ, не позволяя ей генерировать изображения, похожие на оригинальные.

   Рисунок 1. Схема метода IDProtector. Входное изображение сначала изменяется до размера 224 × 224 пикселей, а затем поступает в модель кодировщика с противным шумом. Модель выдает зашумленное изображение, которое добавляется к исходному изображению, чтобы получить защищенное изображение. Это изображение мешает генеративной модели ИИ правильно извлекать черты лица для достижения эффекта защиты.

4. результаты экспериментов

4.1 Защитные эффекты

• Уменьшение сходства идентичностиIDProtector способен уменьшить сходство между сгенерированным изображением и оригиналом более значительно, чем существующие методы. Например, для модели InstantID ID IDProtector уменьшает сходство более чем на 0,4, в то время как другие методы могут уменьшить его только на 0,1 максимум.
• Скорость распознавания лиц: Для полноты оценки исследователи также использовали детектор InsightFace для обнаружения лиц на сгенерированных изображениях. Результаты показали, что IDProtector не влияет на скорость обнаружения лиц, что подтверждает надежность его защитного эффекта.

  Рисунок 2: Качественное сравнение с базовым методом. IDProtector приводит к более значительным различиям на лице в том же диапазоне возмущений.

4.2 Время и качество изображения

• БыстрееIDProtector защищает одно изображение в среднем за 0,173 секунды, что меньше, чем 1% самых быстрых из существующих методов.
• Более высокое качество изображенияIDProtector менее разрушителен для качества изображения и имеет более высокие значения PSNR и SSIM, чем другие методы.

  

4.3 Способность обобщать данные и модели, не встречающиеся в поле зрения

• Способность к обобщению на необозримые наборы данных: IDProtector был протестирован на наборе данных VGG Face, который не был замечен во время обучения, и результаты показали, что его защита практически не изменилась между наборами данных, что говорит о его сильной способности к обобщению.
• Способность к обобщению на невидимые модели: Помимо моделей, использованных в процессе обучения, IDProtector протестировал и другие модели, созданные искусственным интеллектом, включая некоторые модели собственной разработки (например, Midjourney и Jing Gou), и получил не менее удовлетворительные результаты.

  

4.4 Надежность

• Устойчивость к распространенным операциям обработки изображенийIDProtector устойчив к таким операциям, как сжатие JPEG, кадрирование, добавление шума и аффинное преобразование. Даже после этих процессов IDProtector способен эффективно защитить изображение.

  

5. Заключение

IDProtector - это инновационное решение для защиты портретных фотографий от неправомерного использования с помощью кодирующих технологий генерации искусственного интеллекта путем добавления к изображению незаметного шума. Эффективность, универсальность, устойчивость и незаметность делают его эффективным инструментом для защиты конфиденциальности лиц.

6. Перспективы на будущее

Будущие исследования могут способствовать дальнейшей оптимизации незаметности IDProtector при сохранении его сильных защитных возможностей. Кроме того, для обеспечения более полной защиты конфиденциальности можно будет изучить возможность его применения к другим типам медиаконтента, таким как видео.