Cloudflare запускает ИИ-лабиринт: противодействие вредоносным краулерам с помощью генеративного ИИ

Контент, генерируемый искусственным интеллектом, растет беспрецедентными темпами: четыре из 20 самых популярных постов в Facebook осенью прошлого года, как сообщается, были сгенерированы искусственным интеллектом. Кроме того, по оценкам Medium, 47% контента на ее платформе также создается искусственным интеллектом. Как и все новые инструменты, искусственный интеллект имеет как положительное применение, так и риск использования во вредоносных целях.

В то же время мы наблюдаем резкое увеличение числа новых типов веб-краулеров, используемых компаниями, занимающимися разработкой искусственного интеллекта, для обучения своих моделей. Эти ИИ-краулеры делают более 50 миллиардов запросов в сеть Cloudflare в день, что составляет почти 1% от общего количества запросов в нашей сети. Хотя Cloudflare уже имеет инструменты для выявления и блокировки несанкционированных ИИ-краулеров, практика показала, что блокировка вредоносного бота может предупредить злоумышленника об изменении тактики, что приведет к бесконечной игре в "кошки-мышки". Бесконечная игра в кошки-мышки. Cloudflare хотела найти новый способ блокировать этих нежелательных ботов, не будучи обнаруженной.

Для достижения этой цели Cloudflare решила применить стратегию, которая является обычным инструментом для создателей ботов, но до этого редко применялась в сфере обороны: контент, созданный искусственным интеллектом. Когда Cloudflare обнаруживает несанкционированное вторжение, вместо того чтобы блокировать запрос полностью, она переходит по ссылке на ряд страниц, сгенерированных искусственным интеллектом. Содержание этих страниц достаточно реалистично, чтобы побудить краулера ползти дальше. Однако это кажущееся реальным содержимое на самом деле не является реальными данными на самом сайте, что позволяет краулеру тратить время и вычислительные ресурсы на ложную информацию.

У "лабиринта ИИ" есть дополнительное преимущество - это технология медовых точек нового поколения. Поскольку обычный пользователь-человек никогда не полезет в сгенерированный ИИ лабиринт бессмысленных ссылок, любой навязчивый посетитель, скорее всего, окажется ботом. Любой настойчивый посетитель, скорее всего, является ботом, что дает Cloudflare новый инструмент для выявления и маркировки вредоносных ботов и добавления их в список известных злоумышленников. Вот как именно работает "Лабиринт ИИ".

"Как был построен лабиринт.

Когда ИИ-краулеры переходят по таким ссылкам, они расходуют ценные вычислительные ресурсы на обработку нерелевантного контента, вместо того чтобы искать реальные данные на сайте. Это значительно снижает способность ИИ-краулеров эффективно собирать информацию для обучения моделей.

Чтобы генерировать человекоподобный контент, который был бы максимально аутентичным, Cloudflare использовала искусственный интеллект Workers в сочетании с моделями из открытых источников для создания уникальных HTML-страниц на различные темы. Чтобы избежать влияния на производительность генерации контента по требованию, Cloudflare реализовала процесс предварительной генерации, очистила контент для предотвращения XSS-уязвимостей и сохранила его в R2 для быстрого поиска. Cloudflare обнаружила, что определение множества тем и последующая генерация контента для каждой темы дают более разнообразные и запутанные результаты. Более того, Cloudflare стремится избежать создания неточного контента, который может способствовать распространению дезинформации в Интернете. В результате контент, генерируемый "Лабиринтом ИИ", является подлинным и соответствует научным фактам, но не содержанию сайтов, по которым ведется поиск.

Этот предварительно сгенерированный контент легко интегрируется в скрытые ссылки существующих страниц с помощью специально разработанного Cloudflare процесса преобразования HTML, не разрушая оригинальную структуру и содержание страницы. Каждая созданная страница содержит соответствующие мета-директивы для защиты SEO и предотвращения индексации поисковыми системами, а Cloudflare также гарантирует, что эти ссылки будут невидимы для посетителей благодаря тщательно продуманным атрибутам и стилю. Чтобы еще больше минимизировать воздействие на обычных посетителей, эти ссылки отображаются только для предполагаемых краулеров AI, позволяя легитимным пользователям и аутентифицированным краулерам просматривать их в обычном режиме.

Рисунок : Диаграмма сравнения ежедневных запросов AI Crawler, сравнение данных Crawler по категориям.

Эффективность этого подхода заключается в том, что он играет важную роль в развивающейся системе обнаружения ботов Cloudflare. При переходе по этим скрытым ссылкам Cloudflare может быть абсолютно уверена, что это поведение не человека, а скорее автоматизированного краулера, поскольку посетители и обычные браузеры никогда не увидят и не нажмут на эти ссылки. Это дает Cloudflare мощный механизм идентификации, который генерирует ценные данные, используемые в моделях машинного обучения. Анализируя, какие краулеры следуют по этим скрытым путям, Cloudflare может выявлять новые шаблоны и особенности ботов, которые иначе было бы трудно обнаружить. Такой упреждающий подход помогает Cloudflare быть впереди всех в сфере краулеров с искусственным интеллектом, постоянно совершенствуя возможности обнаружения, не нарушая при этом нормальную работу пользователей в браузере.

Построив это решение на платформе Cloudflare Developer Platform, Cloudflare создала систему, которая мгновенно предоставляет реалистичный контент-обманку и поддерживает постоянное качество контента, не влияя на производительность сайта и удобство работы пользователей.

Как остановить ИИ-кроулеров с помощью ИИ-лабиринта

Включить "Лабиринт ИИ" очень просто - достаточно щелкнуть переключателем на приборной панели Cloudflare. Перейдите в раздел "Управление ботами" в своем регионе, а затем переключите новую настройку "Лабиринт ИИ" на "Вкл":

После включения "Лабиринт ИИ" сразу же начнет работать без каких-либо дополнительных настроек.

Медовая точка с искусственным интеллектом, созданная искусственным интеллектом

Основная задача "Лабиринта ИИ" - запутать и отвлечь бота. Однако еще одна важная ценность заключается в том, что он действует как медовая точка нового поколения. В данном контексте honeypot - это скрытая ссылка, которая невидима для посетителя сайта, но которую бот, разбирающий HTML-код, распознает и нажимает на нее, раскрывая себя. Технология "Honeypot" использовалась для поимки хакеров еще в ранние времена, например, в 1986 году, когда произошел "Инцидент с кукушкиным яйцом". в 2004 году основатели Cloudflare (до создания В 2004 году основатели компании Cloudflare (до создания Cloudflare) создали проект Project Honeypot, чтобы облегчить любому желающему развертывание бесплатных почтовых медовых ботов и внести свой вклад в базу данных в обмен на список IP-адресов краулеров. Но с развитием ботов они стали активно искать методы создания медовых точек, например скрытые ссылки, что делает традиционные методы создания медовых точек менее эффективными.

Лабиринт ИИ" не только добавляет скрытые ссылки, но и создает целые сети взаимосвязанных URL-адресов, которые становятся более реалистичными и сложными для распознавания автоматическими программами. Очевидно, что содержимое страницы - это не то, на что человек потратил бы время, но ИИ-бот запрограммирован на глубокий поиск, чтобы собрать как можно больше данных. Когда бот посещает эти URL-адреса, Cloudflare может быть уверена, что это не реальные пользователи, и эта информация записывается и автоматически поступает в модели машинного обучения Cloudflare, чтобы помочь улучшить распознавание ботов. Таким образом, создается замкнутый круг, в котором каждая попытка ползания помогает защитить всех клиентов Cloudflare.

прогноз на будущее

Это лишь первая попытка Cloudflare противостоять ботам с помощью генеративного ИИ. Пока что "лабиринт ИИ" генерирует достаточно контента, чтобы запутать бота, но он может не идеально вписываться в существующую структуру каждого сайта. В дальнейшем Cloudflare продолжит работу над тем, чтобы сделать эти ссылки более трудно обнаруживаемыми и позволить им органично вписываться в существующую структуру встроенных веб-сайтов. Пользователи могут помочь Cloudflare улучшить эту функцию, включив "Лабиринт ИИ" прямо сейчас.

Чтобы сделать следующий шаг в борьбе с ботом, пожалуйста, сделайте это прямо сейчас.Создание лабиринта искусственного интеллекта.