Anubis: interferindo no rastreamento do rastreador de IA por meio de provas de cargas de trabalho

Introdução geral

O Anubis é uma ferramenta de código aberto desenvolvida pela equipe do TecharoHQ para proteger sites contra rastreadores de IA. Ela bloqueia rastreadores automatizados não compatíveis adicionando um desafio de prova de trabalho SHA256 às solicitações HTTP, exigindo que os visitantes concluam tarefas computacionais. Escrita em Go e de código aberto no GitHub, a ferramenta é adequada para sites que não querem ser indexados por mecanismos de pesquisa ou que precisam proteger seus recursos. A techaroHQ é uma empresa canadense especializada em tecnologia de rastreamento anti-AI. O anubis foi inspirado pelo comportamento abusivo dos rastreadores de IA na Internet moderna, que ignoram robots.txt Essa é uma solução extrema para o problema dos rastreadores. Oficialmente, essa é uma solução de "nível nuclear", que é extrema, mas eficaz para lidar com o problema dos rastreadores.

O programa é mais eficiente e não depende de Cloudflare lança AI Maze: combatendo rastreadores maliciosos com IA generativa A desvantagem também é óbvia: não é amigável para sites que precisam de SEO.

Lista de funções

• Autenticar solicitações HTTP com prova de carga de trabalho SHA256 para bloquear o acesso de rastreadores de IA.
• Proteja os recursos do servidor upstream contra o consumo excessivo de ferramentas automatizadas.
• Oferece suporte à implantação do Docker para integração rápida e fácil aos sistemas existentes.
• Fornece a função de verificação de integridade para garantir uma operação estável do serviço.
• Código-fonte aberto, os usuários são livres para modificar e personalizar.
• Bloqueio deliberado da indexação de alguns mecanismos de pesquisa, para sites que não querem ser públicos.

Usando a Ajuda

Processo de instalação

O Anubis é fácil de instalar e é adequado para usuários com formação técnica. Veja a seguir as etapas detalhadas:

1. condições prévias

• O Git e o Docker precisam ser instalados:
  • O Git é usado para buscar código.
  • O Docker é usado para executar o Anubis.
• Verifique o ambiente:

  git --version
  docker --version

Verifique se o comando tem saída.

2. acesso ao código

• É executado no terminal:

  git clone https://github.com/TecharoHQ/anubis.git
  cd anubis
  

3. construir e executar com o Docker

• Construa a imagem espelhada:

  docker build -t anubis .
  

• Execute o contêiner:

  docker run -p 8080:8080 anubis
  

• Ouvinte padrão 8080 acessando a porta http://localhost:8080 Testes.

4. configuração (opcional)

• Porta ou endereço personalizado:

  docker run -p 9000:8080 anubis --listen=http://0.0.0.0:9000
  

• intercambialidade 9000 para a porta que você deseja.

5. verificação do status operacional

• Verifique o status de saúde:

  docker exec <容器ID> /app/bin/anubis --healthcheck
  

• Um retorno de Normal indica que o serviço está funcionando bem.

Como usar os principais recursos

No centro do Anubis está a proteção de prova de carga de trabalho SHA256. Aqui estão as instruções para fazer isso:

Proteção da certificação da carga de trabalho

• Quando acessado pelo usuário, o Anubis exige que o cliente conclua o cálculo do SHA256.
• Os navegadores normais podem fazer isso rapidamente, mas os rastreadores de IA são bloqueados devido aos altos custos de computação.
• Não há necessidade de fazer nada manualmente após a implementação, a proteção entra em vigor automaticamente.

função de teste

• Site oficial do teste anubis.techaro.lol::
  • acesso ao navegador https://anubis.techaro.lolVocê verá o processo de validação.
  • Testado com uma ferramenta de rastreamento:

    curl https://anubis.techaro.lol
    

    Será solicitado que seja preenchido um comprovante de carga de trabalho.

Ver registro

• Verifique o registro de execução:

  docker logs <容器ID>
  

• O registro exibe os detalhes da validação da solicitação.

Suporte e feedback

• Você pode registrar um problema no GitHub se encontrar problemas:
  • Endereço:https://github.com/TecharoHQ/anubis/issues/new.
  • Uma descrição detalhada, incluindo mensagens ambientais e de erro, é necessária para o envio.
• Para comunicação em tempo real, entre no Discord do Patreon:
  • Endereço:https://patreon.com/cadey.
  • existir #anubis Pergunta do canal.

advertência

• O Anubis impede que alguns mecanismos de pesquisa (como o Google) indexem sites. Esse é um recurso oficial deliberado, não uma falha.
• Se for necessário SEO, a recomendação oficial é usar o Cloudflare.
• O Anubis é adequado para cenários em que o Cloudflare não está disponível ou em que é necessária uma proteção forte.

cenário do aplicativo

1. Proteção de sites pessoais
   • Se você tem um blog e não quer que os rastreadores de IA rastreiem seu conteúdo, o Anubis pode bloqueá-lo com eficácia.
2. Hospedagem de recursos privados
   • Ao compartilhar arquivos com usuários específicos, use o Anubis para garantir que somente pessoas autenticadas possam acessá-los.
3. Ambiente de teste de desenvolvimento
   • Durante a fase de desenvolvimento, impedindo que os rastreadores interfiram e protegendo os recursos do servidor com o Anubis.

QA

1. O Anubis afeta os usuários normais?
   • Não vai. A tarefa de computação é leve e quase sem sentido para o usuário do navegador.
2. Ele é adequado para um ambiente de produção?
   • O Docker é simples de implantar e foi testado para funcionar de forma confiável.
3. Por que os mecanismos de pesquisa não conseguem indexá-lo?
   • A carga de trabalho prova bloquear rastreadores, inclusive mecanismos de pesquisa. Esse era o objetivo do projeto do Anubis.
4. E se eu não usar o Anubis?
   • É possível proteger um site com o Cloudflare, o que é adequado para a maioria das situações.