アヌビス：作業負荷の証明を通じてAIクローラーのクローリングを妨害する

はじめに

Anubisは、AIクローラーからウェブサイトを保護するためにTecharoHQチームによって開発されたオープンソースツールです。HTTPリクエストにSHA256 Proof-of-Work チャレンジを追加し、訪問者に計算タスクを完了するよう要求することで、非準拠の自動クローラーをブロックする。Goで書かれ、GitHubでオープンソース化されたこのツールは、検索エンジンにインデックスされたくないウェブサイトや、リソースを保護する必要があるウェブサイトに適している。techaroHQは、アンチAIクローラー技術を専門とするカナダの企業である。 robots.txt これはクローラーの問題に対する極端な解決策である。公式には、これは "核兵器レベル "の解決策であり、クローラー問題への対処としては極端だが効果的である。

このプログラムは、より効率的であり、また、このプログラムに依存することもない。 クラウドフレアがAI Mazeを発表：生成AIで悪意のあるクローラーに対抗 しかし、欠点もまた明らかで、SEOを必要とするサイトには優しくない。

機能一覧

• SHA256プルーフ・オブ・ワークロードでHTTPリクエストを認証し、AIクローラーによるアクセスをブロックする。
• 自動化ツールによって上流のサーバーリソースが過剰に消費されるのを防ぐ。
• Dockerデプロイをサポートし、既存システムへの迅速かつ容易な統合を実現。
• ヘルスチェック機能を提供し、安定したサービス運用を保証します。
• オープンソースのコードで、ユーザーは自由に変更、カスタマイズできる。
• 公開を望まないサイトのために、一部の検索エンジンのインデックスを意図的にブロックする。

ヘルプの使用

設置プロセス

アヌビスのインストールは簡単で、技術的なバックグラウンドを持つユーザーにも適している。以下はその詳細な手順である：

1.前提条件

• GitとDockerをインストールする必要がある：
  • Gitはコードのフェッチに使われる。
  • Anubisの実行にはDockerが使用される。
• 環境をチェックする：

  git --version
  docker --version

コマンドに出力があることを確認する。

2.コードへのアクセス

• ターミナルで実行：

  git clone https://github.com/TecharoHQ/anubis.git
  cd anubis
  

3.Dockerによるビルドと実行

• 鏡像を作る：

  docker build -t anubis .
  

• コンテナを実行する：

  docker run -p 8080:8080 anubis
  

• デフォルトリスナー 8080 ポートにアクセスする。 http://localhost:8080 テスト。

4.コンフィギュレーション（オプション）

• カスタムポートまたはカスタムアドレス：

  docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000
  

• 相互互換性 9000 を選択してください。

5.稼働状況の確認

• 健康状態をチェックする：

  docker exec <容器ID> /app/bin/anubis --healthcheck
  

• Normalと表示された場合は、サービスが正常に稼動していることを示す。

主な機能の使い方

Anubisの核心はSHA256によるプルーフ・オブ・ワークロード保護である。以下はその手順である：

ワークロード認証保護

• ユーザーがアクセスすると、AnubisはクライアントにSHA256計算を完了するよう要求する。
• 通常のブラウザーならすぐにできることだが、AIのクローラーは計算コストが高いためブロックされている。
• 導入後に手動で何かをする必要はなく、保護は自動的に有効になります。

テスト機能

• 公式テストサイト anubis.techaro.lol::
  • ブラウザアクセス https://anubis.techaro.lol検証プロセスが表示されます。
  • クローラーツールでテスト：

    curl https://anubis.techaro.lol
    

    ワークロードの証明が必要である旨が表示されます。

ログを見る

• 走行ログを確認する：

  docker logs <容器ID>
  

• ログはリクエスト検証の詳細を表示する。

サポートとフィードバック

• 問題が発生した場合は、GitHubにissueを提出することができる：
  • 住所https://github.com/TecharoHQ/anubis/issues/new.
  • 提出には、環境およびエラーメッセージを含む詳細な説明が必要。
• リアルタイムのコミュニケーションは、PatreonのDiscordに参加してください：
  • 住所https://patreon.com/cadey.
  • ある #anubis チャンネルの質問

ほら

• Anubisは、一部の検索エンジン（Googleなど）がウェブサイトをインデックスできないようにしています。これは意図的な公式機能であり、欠陥ではありません。
• SEO対策が必要な場合は、代わりにCloudflareを使うことを公式に推奨している。
• Anubisは、Cloudflareが利用できない場合や強力な保護が必要な場合に適している。

アプリケーションシナリオ

1. 個人サイトの保護
   • ブログを持っていて、AIクローラーにコンテンツをクロールされたくない場合、Anubisはそれを効果的にブロックすることができる。
2. プライベート・リソースのホスティング
   • 特定のユーザーにファイルを共有する場合は、Anubisを使用して認証されたユーザーのみがアクセスできるようにします。
3. 開発テスト環境
   • 開発段階では、Anubisでクローラーの干渉を防ぎ、サーバーのリソースを保護する。

品質保証

1. アヌビスは普通のユーザーにも影響を与えるのか？
   • それはない。計算タスクは軽く、ブラウザ・ユーザーにとってはほとんど無意味だ。
2. 本番環境に適しているか？
   • Dockerは導入が簡単で、確実に動作することがテストされている。
3. なぜ検索エンジンがインデックスできないのか？
   • 作業負荷は、検索エンジンを含むクローラーをブロックすることを証明する。これがAnubisの設計目標だった。
4. アヌビスを使わない場合は？
   • Cloudflareでウェブサイトを保護することは可能で、ほとんどの状況に適しています。