Anubis: вмешательство в ползание ИИ-кроулеров с помощью доказательств рабочей нагрузки

Общее введение

Anubis - это инструмент с открытым исходным кодом, разработанный командой TecharoHQ для защиты веб-сайтов от краулеров с искусственным интеллектом. Он блокирует автоматические краулеры, не отвечающие требованиям, добавляя в HTTP-запросы вызов SHA256 Proof-of-Work, требующий от посетителей выполнения вычислительных задач. Написанный на языке Go и открытый на GitHub, инструмент подходит для сайтов, которые не хотят быть проиндексированными поисковыми системами или нуждаются в защите своих ресурсов. techaroHQ - канадская компания, специализирующаяся на технологии защиты от краулеров AI. anubis был вдохновлен неправомерным поведением краулеров AI в современном интернете, которые игнорируют robots.txt Это экстремальное решение проблемы гусениц. Официально это решение "уровня ядерной бомбы", которое является экстремальным, но эффективным для решения проблемы краулеров.

Программа более эффективна и не зависит от Cloudflare запускает ИИ-лабиринт: противодействие вредоносным краулерам с помощью генеративного ИИ Но обратная сторона также очевидна: он не подходит для сайтов, нуждающихся в SEO.

Список функций

• Аутентификация HTTP-запросов с помощью SHA256 для блокировки доступа краулеров AI.
• Защитите ресурсы вышестоящих серверов от чрезмерного потребления автоматизированными инструментами.
• Поддерживает развертывание в Docker для быстрой и простой интеграции в существующие системы.
• Функция проверки работоспособности для обеспечения стабильной работы.
• Открытый исходный код, пользователи могут свободно изменять и настраивать его.
• Преднамеренное блокирование индексации некоторыми поисковыми системами для сайтов, которые не хотят быть публичными.

Использование помощи

Процесс установки

Anubis прост в установке и подходит для пользователей с техническим образованием. Ниже приведены подробные шаги:

1. предварительные условия

• Необходимо установить Git и Docker:
  • Git используется для получения кода.
  • Для запуска Anubis используется Docker.
• Проверьте окружающую среду:

  git --version
  docker --version

Убедитесь, что команда выводится.

2. доступ к коду

• Запускается в терминале:

  git clone https://github.com/TecharoHQ/anubis.git
  cd anubis
  

3. Сборка и запуск с помощью Docker

• Постройте зеркальное отражение:

  docker build -t anubis .
  

• Запустите контейнер:

  docker run -p 8080:8080 anubis
  

• Слушатель по умолчанию 8080 порт, доступ к http://localhost:8080 Тестирование.

4. Конфигурация (опционально)

• Пользовательский порт или адрес:

  docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000
  

• взаимозаменяемость 9000 для нужного вам порта.

5. проверка рабочего состояния

• Проверьте состояние здоровья:

  docker exec <容器ID> /app/bin/anubis --healthcheck
  

• Возвращение значения Normal означает, что служба работает нормально.

Как использовать основные функции

В основе Anubis лежит защита от несанкционированного доступа SHA256. Вот инструкции по ее выполнению:

Защита сертификации рабочей нагрузки

• Когда пользователь получает доступ к Anubis, клиент должен выполнить вычисление SHA256.
• Обычные браузеры могут сделать это быстро, а краулеры AI блокируются из-за высоких вычислительных затрат.
• После развертывания не нужно ничего делать вручную, защита вступает в силу автоматически.

функция тестирования

• Официальный сайт тестов anubis.techaro.lol::
  • доступ к браузеру https://anubis.techaro.lolВы увидите процесс проверки.
  • Проверено с помощью краулера:

    curl https://anubis.techaro.lol
    

    Появится запрос на подтверждение загруженности.

Просмотр журнала

• Проверьте журнал выполнения:

  docker logs <容器ID>
  

• В журнале отображаются сведения о проверке запроса.

Поддержка и обратная связь

• Если у вас возникнут проблемы, вы можете подать заявку на GitHub:
  • Адрес:https://github.com/TecharoHQ/anubis/issues/new.
  • Для отправки требуется подробное описание, включая сообщения об условиях и ошибках.
• Для общения в режиме реального времени присоединяйтесь к Discord на Patreon:
  • Адрес:https://patreon.com/cadey.
  • существовать #anubis Вопрос по каналу.

предостережение

• Anubis не позволяет некоторым поисковым системам (например, Google) индексировать веб-сайты. Это намеренная официальная функция, а не недостаток.
• Если требуется SEO, официальная рекомендация - использовать Cloudflare.
• Anubis подходит для тех случаев, когда Cloudflare недоступен или требуется надежная защита.

сценарий применения

1. Защита персональных веб-сайтов
   • Если у вас есть блог, и вы не хотите, чтобы AI-гусеницы ползали по вашему контенту, Anubis может эффективно блокировать их.
2. Размещение частных ресурсов
   • При передаче файлов определенным пользователям используйте Anubis, чтобы обеспечить доступ к ним только аутентифицированным лицам.
3. Тестовая среда разработки
   • На этапе разработки предотвращение вмешательства краулеров и защита ресурсов сервера с помощью Anubis.

QA

1. Влияет ли Anubis на обычных пользователей?
   • Не будет. Вычислительная задача легка и практически бессмысленна для пользователя браузера.
2. Подходит ли он для производственной среды?
   • Docker прост в развертывании и проверен на надежность работы.
3. Почему поисковые системы не могут его проиндексировать?
   • Рабочая нагрузка оказывается на блокировку краулеров, включая поисковые системы. Это и было целью разработки Anubis.
4. Что, если я не буду использовать Анубиса?
   • Можно защитить сайт с помощью Cloudflare, что подходит для большинства ситуаций.