아누비스: 워크로드 증명을 통해 AI 크롤러의 크롤링 방해하기

13.3K 00

일반 소개

아누비스는 AI 크롤러로부터 웹사이트를 보호하기 위해 TecharoHQ 팀에서 개발한 오픈 소스 도구입니다. 이 도구는 HTTP 요청에 SHA256 작업 증명 챌린지를 추가하여 방문자가 계산 작업을 완료하도록 요구함으로써 규정을 준수하지 않는 자동화된 크롤러를 차단합니다. Go로 작성되고 GitHub에서 오픈소스로 제공되는 이 도구는 검색 엔진에서 색인화되는 것을 원치 않거나 리소스를 보호해야 하는 웹사이트에 적합합니다. techaroHQ는 AI 크롤러 방지 기술을 전문으로 하는 캐나다 회사로, 현대 인터넷에서 AI 크롤러의 악의적인 행동에서 영감을 얻어 다음을 무시하는 anubis를 개발했습니다. robots.txt 이것은 크롤러 문제에 대한 극단적인 해결책입니다. 공식적으로는 '핵폭탄급' 솔루션으로, 극단적이지만 크롤러 문제를 해결하는 데 효과적입니다.

이 프로그램은 더 효율적이며 다음 사항에 의존하지 않습니다. 클라우드플레어, AI 메이즈 출시: 생성적 AI로 악성 크롤러 대응하기 단점도 분명한데, SEO가 필요한 사이트에는 적합하지 않다는 점입니다.

기능 목록

SHA256 작업 증명으로 HTTP 요청을 인증하여 AI 크롤러의 액세스를 차단합니다.
자동화된 도구로 인해 업스트림 서버 리소스가 과도하게 사용되지 않도록 보호하세요.
기존 시스템에 빠르고 쉽게 통합할 수 있도록 Docker 배포를 지원합니다.
안정적인 서비스 운영을 위한 상태 확인 기능을 제공합니다.
오픈 소스 코드로 사용자가 자유롭게 수정하고 커스터마이징할 수 있습니다.
공개를 원하지 않는 사이트에 대해 일부 검색 엔진의 색인 생성을 의도적으로 차단합니다.

도움말 사용

설치 프로세스

Anubis는 설치가 쉬우며 기술적 배경 지식이 있는 사용자에게 적합합니다. 자세한 단계는 다음과 같습니다:

1. 전제 조건

Git 및 Docker를 설치해야 합니다:
- Git은 코드를 가져오는 데 사용됩니다.
- Docker는 Anubis를 실행하는 데 사용됩니다.
환경을 확인합니다:
```
git --version
docker --version
```

명령에 출력이 있는지 확인합니다.

2. 코드 액세스

터미널에서 실행됩니다:

git clone https://github.com/TecharoHQ/anubis.git
cd anubis

3. Docker로 빌드 및 실행

미러 이미지를 구축합니다:
```
docker build -t anubis .
```
컨테이너를 실행합니다:
```
docker run -p 8080:8080 anubis
```
기본 리스너 8080 포트에 액세스하여 http://localhost:8080 테스트.

4. 구성(선택 사항)

사용자 지정 포트 또는 주소:

docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000

상호 호환성 9000 를 입력하세요.

5. 운영 상태 확인

건강 상태를 확인하세요:

docker exec <容器ID> /app/bin/anubis --healthcheck

정상으로 돌아오면 서비스가 정상적으로 실행되고 있음을 나타냅니다.

주요 기능 사용 방법

Anubis의 핵심은 SHA256 워크로드 증명 보호입니다. 이를 위한 지침은 다음과 같습니다:

워크로드 인증 보호

사용자가 접속할 때 Anubis는 클라이언트가 SHA256 계산을 완료하도록 요구합니다.
일반 브라우저는 빠르게 처리할 수 있지만, AI 크롤러는 높은 연산 비용으로 인해 차단됩니다.
배포 후 수동으로 아무것도 할 필요가 없으며 보호 기능이 자동으로 적용됩니다.

테스트 기능

공식 테스트 사이트 anubis.techaro.lol::
- 브라우저 액세스 https://anubis.techaro.lol를 클릭하면 유효성 검사 프로세스가 표시됩니다.
- 크롤러 도구로 테스트했습니다:
```
curl https://anubis.techaro.lol
```
  작업량 증명을 완료해야 한다는 메시지가 표시됩니다.

로그 보기

실행 로그를 확인합니다:
```
docker logs <容器ID>
```
로그에는 요청 유효성 검사 세부 정보가 표시됩니다.

지원 및 피드백

문제가 발생하면 GitHub에 이슈를 제출할 수 있습니다:
- 주소:https://github.com/TecharoHQ/anubis/issues/new.
- 제출하려면 환경 및 오류 메시지를 포함한 자세한 설명이 필요합니다.
실시간 소통을 원하시면 Patreon의 Discord에 가입하세요:
- 주소:https://patreon.com/cadey.
- 존재 #anubis 채널 질문.

주의

아누비스는 일부 검색 엔진(예: Google)이 웹사이트를 색인화하지 못하도록 차단합니다. 이는 결함이 아닌 의도적인 공식 기능입니다.
SEO가 필요한 경우 공식 권장 사항은 Cloudflare를 대신 사용하는 것입니다.
Anubis는 Cloudflare를 사용할 수 없거나 강력한 보호가 필요한 시나리오에 적합합니다.

애플리케이션 시나리오

개인 웹사이트 보호
- 블로그가 있는데 AI 크롤러가 콘텐츠를 크롤링하는 것을 원치 않는다면 Anubis가 이를 효과적으로 차단할 수 있습니다.
비공개 리소스 호스팅
- 특정 사용자에게 파일을 공유할 때는 인증된 사람만 액세스할 수 있도록 Anubis를 사용하세요.
개발 테스트 환경
- 개발 단계에서 크롤러의 간섭을 방지하고 Anubis로 서버 리소스를 보호하세요.

QA

아누비스가 일반 사용자에게 영향을 주나요?
- 그렇지 않습니다. 계산 작업은 브라우저 사용자에게는 거의 무의미할 정도로 가볍습니다.
프로덕션 환경에 적합한가요?
- Docker는 배포가 간단하고 안정적으로 작동하는 것으로 테스트되었습니다.
검색 엔진에서 색인을 생성할 수 없는 이유는 무엇인가요?
- 이 워크로드는 검색 엔진을 포함한 크롤러를 차단하는 것으로 입증되었습니다. 이것이 바로 아누비스의 설계 목표였습니다.
아누비스를 사용하지 않는다면 어떻게 하나요?
- 대부분의 상황에 적합한 Cloudflare로 웹 사이트를 보호할 수 있습니다.