Anubis: Beeinflussung von KI-Crawler-Crawling durch Proof of Workloads

Allgemeine Einführung

Anubis ist ein Open-Source-Tool, das vom TecharoHQ-Team entwickelt wurde, um Websites vor künstlichen Crawlern zu schützen. Es blockiert nicht konforme automatisierte Crawler, indem es eine SHA256 Proof-of-Work-Herausforderung zu HTTP-Anfragen hinzufügt, die von Besuchern Rechenaufgaben verlangt. Das in Go geschriebene und auf GitHub freigegebene Tool eignet sich für Websites, die nicht von Suchmaschinen indiziert werden wollen oder ihre Ressourcen schützen müssen. techaroHQ ist ein kanadisches Unternehmen, das sich auf Anti-AI-Crawler-Technologie spezialisiert hat. anubis wurde durch das missbräuchliche Verhalten von AI-Crawlern im modernen Internet inspiriert, die robots.txt Dies ist eine extreme Lösung für das Problem der Crawler. Offiziell handelt es sich dabei um eine "Nuke-Level"-Lösung, die extrem, aber wirksam gegen das Crawler-Problem vorgeht.

Das Programm ist effizienter und stützt sich nicht auf Cloudflare startet AI Maze: Bösartige Crawler mit generativer KI bekämpfen Die Kehrseite der Medaille liegt auf der Hand: Sie ist nicht geeignet für Websites, die SEO benötigen.

Funktionsliste

• Authentifizierung von HTTP-Anfragen mit SHA256 Proof-of-Workload, um den Zugriff durch AI-Crawler zu blockieren.
• Schutz der vorgelagerten Serverressourcen vor übermäßiger Inanspruchnahme durch automatisierte Tools.
• Unterstützt die Docker-Bereitstellung für eine schnelle und einfache Integration in bestehende Systeme.
• Bietet eine Funktion zur Gesundheitsprüfung, um einen stabilen Betrieb zu gewährleisten.
• Offener Quellcode, der von den Benutzern frei verändert und angepasst werden kann.
• Bewusstes Blockieren der Indizierung einiger Suchmaschinen für Websites, die nicht veröffentlicht werden sollen.

Hilfe verwenden

Einbauverfahren

Anubis ist einfach zu installieren und eignet sich auch für Benutzer mit technischem Hintergrund. Nachfolgend finden Sie die detaillierten Schritte:

1. voraussetzungen

• Git und Docker müssen installiert werden:
  • Git wird zum Abrufen von Code verwendet.
  • Für die Ausführung von Anubis wird Docker verwendet.
• Überprüfen Sie die Umgebung:

  git --version
  docker --version

Stellen Sie sicher, dass der Befehl eine Ausgabe hat.

2. der Zugang zum Code

• Läuft im Terminal:

  git clone https://github.com/TecharoHQ/anubis.git
  cd anubis
  

3. erstellen und ausführen mit Docker

• Bauen Sie das Spiegelbild:

  docker build -t anubis .
  

• Starten Sie den Container:

  docker run -p 8080:8080 anubis
  

• Standard-Hörer 8080 Port, Zugriff auf die http://localhost:8080 Prüfung.

4. die Konfiguration (optional)

• Benutzerdefinierter Port oder Adresse:

  docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000
  

• Austauschbarkeit 9000 für den von Ihnen gewünschten Anschluss.

5. die Überprüfung des Betriebsstatus

• Überprüfen Sie den Gesundheitsstatus:

  docker exec <容器ID> /app/bin/anubis --healthcheck
  

• Ein Ergebnis von "Normal" bedeutet, dass der Dienst gut läuft.

Verwendung der wichtigsten Funktionen

Das Herzstück von Anubis ist der SHA256 Proof-of-Workload-Schutz. Hier sind die Anweisungen dafür:

Schutz der Workload-Zertifizierung

• Beim Zugriff des Benutzers auf Anubis muss der Client die SHA256-Berechnung durchführen.
• Normale Browser können dies schnell erledigen, KI-Crawler werden aufgrund des hohen Rechenaufwands blockiert.
• Nach der Bereitstellung müssen Sie nichts mehr manuell tun, der Schutz wird automatisch wirksam.

Testfunktion

• Offizielle Testseite anubis.techaro.lol::
  • Browser-Zugang https://anubis.techaro.lolsehen Sie den Validierungsprozess.
  • Getestet mit einem Crawler-Tool:

    curl https://anubis.techaro.lol
    

    Sie werden darauf hingewiesen, dass ein Nachweis der Arbeitsbelastung ausgefüllt werden muss.

Ansicht Log

• Prüfen Sie das Laufprotokoll:

  docker logs <容器ID>
  

• Das Protokoll zeigt die Details zur Validierung der Anfrage an.

Unterstützung und Feedback

• Sie können auf GitHub einen Fehler melden, wenn Sie auf Probleme stoßen:
  • Adresse:https://github.com/TecharoHQ/anubis/issues/new.
  • Für die Einreichung ist eine ausführliche Beschreibung, einschließlich Umgebungs- und Fehlermeldungen, erforderlich.
• Für die Kommunikation in Echtzeit können Sie dem Discord von Patreon beitreten:
  • Adresse:https://patreon.com/cadey.
  • existieren #anubis Kanalfrage.

caveat

• Anubis verhindert, dass einige Suchmaschinen (z. B. Google) Websites indizieren. Dies ist eine absichtliche offizielle Funktion, kein Fehler.
• Wenn SEO erforderlich ist, lautet die offizielle Empfehlung, stattdessen Cloudflare zu verwenden.
• Anubis ist für Szenarien geeignet, in denen Cloudflare nicht verfügbar ist oder ein starker Schutz erforderlich ist.

Anwendungsszenario

1. Schutz von persönlichen Websites
   • Wenn Sie einen Blog haben und nicht wollen, dass KI-Crawler Ihre Inhalte durchsuchen, kann Anubis dies effektiv verhindern.
2. Hosting privater Ressourcen
   • Wenn Sie Dateien für bestimmte Benutzer freigeben, verwenden Sie Anubis, um sicherzustellen, dass nur authentifizierte Personen auf die Dateien zugreifen können.
3. Entwicklung Testumgebung
   • Während der Entwicklungsphase verhindern wir mit Anubis, dass sich Crawler einmischen und schützen die Serverressourcen.

QA

1. Wirkt sich Anubis auf normale Benutzer aus?
   • Wird es nicht. Die Rechenaufgabe ist leicht und für den Browser-Nutzer fast sinnlos.
2. Ist sie für eine Produktionsumgebung geeignet?
   • Docker ist einfach zu implementieren und hat sich in Tests als zuverlässig erwiesen.
3. Warum können Suchmaschinen es nicht indizieren?
   • Die Arbeitsbelastung beweist, dass sie Crawler, einschließlich Suchmaschinen, blockiert. Dies war das Ziel der Entwicklung von Anubis.
4. Was ist, wenn ich Anubis nicht verwende?
   • Es ist möglich, eine Website mit Cloudflare zu schützen, was für die meisten Situationen geeignet ist.