Anubis : Interférer avec l'IA Crawler Crawling par le biais d'une preuve de charge de travail

Introduction générale

Anubis est un outil open source développé par l'équipe de TecharoHQ pour protéger les sites web contre les robots d'indexation. Il bloque les robots d'exploration non conformes en ajoutant un défi de preuve de travail SHA256 aux requêtes HTTP, exigeant des visiteurs qu'ils effectuent des tâches de calcul. Écrit en Go et en libre accès sur GitHub, l'outil convient aux sites web qui ne souhaitent pas être indexés par les moteurs de recherche ou qui ont besoin de protéger leurs ressources. techaroHQ est une entreprise canadienne spécialisée dans la technologie anti-crawler d'IA. anubis a été inspiré par le comportement abusif des crawlers d'IA sur l'internet moderne, qui ignorent les règles du jeu de la concurrence. robots.txt Il s'agit d'une solution extrême au problème des robots d'indexation. Officiellement, il s'agit d'une solution de "niveau nucléaire", qui est extrême mais efficace pour traiter le problème des robots.

Le programme est plus efficace et ne s'appuie pas sur des Cloudflare lance AI Maze : contrer les crawlers malveillants grâce à l'IA générative L'inconvénient est également évident : il n'est pas adapté aux sites qui ont besoin d'être référencés.

Liste des fonctions

• Authentifier les requêtes HTTP avec la preuve de travail SHA256 pour bloquer l'accès des robots d'indexation.
• Protéger les ressources des serveurs en amont de la surconsommation des outils automatisés.
• Prend en charge le déploiement Docker pour une intégration rapide et facile dans les systèmes existants.
• La fonction de contrôle de l'état de santé permet d'assurer un fonctionnement stable du service.
• Code source ouvert, les utilisateurs sont libres de le modifier et de le personnaliser.
• Bloquer délibérément l'indexation de certains moteurs de recherche, pour les sites qui ne veulent pas être publics.

Utiliser l'aide

Processus d'installation

Anubis est facile à installer et convient aux utilisateurs ayant des connaissances techniques. Vous trouverez ci-dessous les étapes détaillées :

1. les conditions préalables

• Git et Docker doivent être installés :
  • Git est utilisé pour récupérer du code.
  • Docker est utilisé pour faire fonctionner Anubis.
• Vérifier l'environnement :

  git --version
  docker --version

Assurez-vous que la commande produit un résultat.

2. accès au code

• S'exécute dans le terminal :

  git clone https://github.com/TecharoHQ/anubis.git
  cd anubis
  

3. construire et exécuter avec Docker

• Construire l'image miroir :

  docker build -t anubis .
  

• Exécuter le conteneur :

  docker run -p 8080:8080 anubis
  

• Auditeur par défaut 8080 en accédant au port http://localhost:8080 Test.

4. configuration (facultatif)

• Port ou adresse personnalisé(e) :

  docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000
  

• l'interchangeabilité 9000 pour le port souhaité.

5. vérification de l'état de fonctionnement

• Vérifier l'état de santé :

  docker exec <容器ID> /app/bin/anubis --healthcheck
  

• Un retour à Normal indique que le service fonctionne bien.

Comment utiliser les principales fonctionnalités

Au cœur d'Anubis se trouve la protection SHA256 contre les preuves de travail. Voici les instructions pour y parvenir :

Protection de la certification de la charge de travail

• Lorsque l'utilisateur y accède, Anubis demande au client d'effectuer le calcul SHA256.
• Les navigateurs normaux peuvent le faire rapidement, mais les robots d'indexation sont bloqués en raison des coûts de calcul élevés.
• Il n'est pas nécessaire de faire quoi que ce soit manuellement après le déploiement, la protection prend effet automatiquement.

fonction de test

• Site officiel du test anubis.techaro.lol: :
  • accès au navigateur https://anubis.techaro.lolvous verrez le processus de validation.
  • Testé avec un outil de recherche (crawler) :

    curl https://anubis.techaro.lol
    

    Un message vous indiquera qu'une preuve de charge de travail doit être complétée.

Voir le journal

• Vérifier le journal d'exécution :

  docker logs <容器ID>
  

• Le journal affiche les détails de la validation de la demande.

Soutien et retour d'information

• Vous pouvez déposer un problème sur GitHub si vous rencontrez des difficultés :
  • Adresse :https://github.com/TecharoHQ/anubis/issues/new.
  • Une description détaillée, y compris les messages d'environnement et d'erreur, est requise pour la soumission.
• Pour une communication en temps réel, rejoignez le Discord de Patreon :
  • Adresse :https://patreon.com/cadey.
  • existent #anubis Question sur la chaîne.

mise en garde

• Anubis empêche certains moteurs de recherche (comme Google) d'indexer les sites web. Il s'agit d'une fonctionnalité officielle délibérée, et non d'un défaut.
• Si le référencement est nécessaire, la recommandation officielle est d'utiliser Cloudflare à la place.
• Anubis convient aux scénarios dans lesquels Cloudflare n'est pas disponible ou une protection forte est nécessaire.

scénario d'application

1. Protection des sites web personnels
   • Vous avez un blog et vous ne voulez pas que les robots d'indexation de l'IA parcourent votre contenu, Anubis peut le bloquer efficacement.
2. Hébergement de ressources privées
   • Lorsque vous partagez des fichiers avec des utilisateurs spécifiques, utilisez Anubis pour vous assurer que seules les personnes authentifiées peuvent y accéder.
3. Environnement de développement et de test
   • Pendant la phase de développement, empêcher les crawlers d'interférer et protéger les ressources du serveur avec Anubis.

QA

1. Anubis affecte-t-il les utilisateurs normaux ?
   • Ce n'est pas le cas. La tâche de calcul est légère et presque insensée pour l'utilisateur du navigateur.
2. Est-il adapté à un environnement de production ?
   • Docker est simple à déployer et a été testé pour fonctionner de manière fiable.
3. Pourquoi les moteurs de recherche ne peuvent-ils pas l'indexer ?
   • La charge de travail s'avère bloquer les robots d'indexation, y compris les moteurs de recherche. C'était l'objectif de la conception d'Anubis.
4. Et si je n'utilise pas Anubis ?
   • Il est possible de protéger un site web avec Cloudflare, ce qui convient à la plupart des situations.