DevDocs: um serviço MCP para rastrear e organizar rapidamente a documentação técnica

Introdução geral

O DevDocs é uma ferramenta totalmente gratuita e de código aberto desenvolvida pela equipe da CyberAGI e hospedada no GitHub. Projetada para programadores e desenvolvedores de software, ela começa no URL de um documento técnico, rastreia automaticamente a página relevante e a organiza em um arquivo Markdown ou JSON conciso. Ele possui MCP servidores, suporte para o uso do Claude O objetivo do DevDocs é reduzir o tempo de pesquisa de documentos de semanas para horas e ajudar os desenvolvedores a se atualizarem rapidamente com as novas tecnologias. O DevDocs é adequado para desenvolvedores individuais, equipes e usuários corporativos e, no momento, não é cobrado, portanto, qualquer pessoa pode fazer o download e usá-lo.

Lista de funções

• Rastreamento inteligente de documentosURL: insira um URL e rastreie automaticamente as páginas relevantes, suportando de 1 a 5 níveis de profundidade.
• Organizar em vários formatosConverta o conteúdo capturado em arquivos Markdown ou JSON para facilitar a leitura e o processamento posterior.
• Integração do servidor MCPServidor MCP integrado que funciona com modelos grandes, como o Claude, para consultar documentos de forma inteligente.
• Descoberta automática de linksIdentificação e categorização de sub-links em uma página para garantir a integridade do conteúdo.
• Aceleração do processamento paraleloRastreamento de várias páginas em vários threads para aumentar a eficiência.
• rastreamento seletivoOs usuários podem especificar o que extrair para evitar informações irrelevantes.
• Mecanismo de recuperação de errosTentativa automática de repetição quando o rastreamento falha para garantir a estabilidade.
• Registro completoRegistre todas as etapas da operação para facilitar a solução de problemas.

Usando a Ajuda

Processo de instalação

O DevDocs é executado com o Docker e é fácil de instalar. Aqui estão as etapas detalhadas:

1. Preparação do ambiente
   • O Git e o Docker precisam ser instalados:
     • Git: faça o download e instale em git-scm.com.
     • Docker: Faça o download do Docker Desktop em docker.com e instale-o.
   • Para verificar se o Docker está sendo executado corretamente, no terminal, digite docker --versionSe o número da versão for exibido, você foi bem-sucedido.
2. Código de clonagem
   • Abra um terminal (CMD ou PowerShell para Windows, Terminal para Mac/Linux).
   • Digite o comando para fazer o download do DevDocs:

     git clone https://github.com/cyberagiinc/DevDocs.git
     

   • Vá para o catálogo de projetos:

     cd DevDocs
     

3. Início dos serviços
   • Execute o script de inicialização de acordo com o sistema operacional:
     • Mac/Linux:

       ./docker-start.sh
       

     • Windows:

       docker-start.bat
       

   • Os usuários do Windows podem definir manualmente as permissões de pasta se estiverem tendo problemas com permissões:

     icacls logs /grant Everyone:F /T
     icacls storage /grant Everyone:F /T
     icacls crawl_results /grant Everyone:F /T
     

   • Depois de iniciar, aguarde alguns segundos e o terminal mostrará que o serviço está sendo executado com êxito.
4. ferramenta de acesso
   • Abra seu navegador e digite http://localhost:3001para acessar a interface de front-end do DevDocs.
   • Outros endereços de serviço:
     • API de back-end:http://localhost:24125
     • Crawl4AI Serviços:http://localhost:11235

Funções principais

1. rastrear a documentação técnica

• mover::
  1. Cole o URL de destino na caixa de entrada da interface, por exemplo https://docs.example.com.
  2. Selecione a profundidade do rastreamento (1-5 camadas, padrão 5).
  3. Clique em "Start Crawling" (Iniciar rastreamento).
  4. Aguarde a conclusão e a interface exibirá a lista de páginas rastreadas.
• tomar nota de::
  • O rastreamento é rápido, processando até 1.000 páginas por minuto.
  • Os resultados são salvos no <项目目录>/crawl_results Pasta.
• Opções avançadas::
  • O rastreamento seletivo está disponível, marcando o que é necessário.

2. organização do conteúdo dos documentos

• equipamento::
  • Após o rastreamento, o conteúdo é automaticamente organizado em arquivos Markdown ou JSON.
  • existir <项目目录>/crawl_results que está no formato Markdown por padrão.
• Alternar formato::
  • Selecione "Exportar para JSON" nas configurações da interface para o ajuste fino de modelos grandes.

3. uso de servidores MCP e modelos grandes

• pretender::
  • Faça o download e instale o aplicativo Claude para desktop (anthropic.com).
  • O servidor MCP do DevDocs é executado localmente por padrão e não requer nenhuma configuração adicional.
• mover::
  1. Abra o aplicativo Claude.
  2. Digite uma pergunta, como "What does this document say" (O que esse documento diz).
  3. Claude lerá os dados do servidor MCP e responderá.
• Uso estendido::
  • Coloque o documento local na pasta <项目目录>/storageO Claude pode ser acessado diretamente.
  • Suporte para perguntas complexas, como "como essa tecnologia é implementada".

4. registro e monitoramento

• Ver registro::
  • Os arquivos de registro estão no diretório <项目目录>/logs, incluído:
    • frontend.logRegistros de front-end.
    • backend.logRegistros de back-end.
    • mcp.log: Registros do servidor MCP.
  • Veja os registros em tempo real com o Docker:

    docker logs -f devdocs-backend
    

• Descontinuação de serviços::
  • No terminal, pressione Ctrl+C, desligue todos os serviços.

5. scripts práticos

• O projeto oferece uma variedade de scripts localizados no diretório <项目目录>/scripts::
  • check_mcp_health.shVerifique o status do servidor MCP.
  • debug_crawl4ai.shDepuração do serviço de rastreamento.
  • view_result.sh: Exibir resultados de rastreamento.
• modo de execução::
  • Vá para o diretório do script no terminal e digite ./脚本名 Implementação.

Resumo do processo de operação

1. Instale o Docker e o Git e faça o download do código.
2. Execute o script de inicialização para acessar a interface.
3. Insira o URL, rastreie e organize o documento.
4. Consultar conteúdo com o Claude para obter eficiência.

cenário do aplicativo

1. Aprendizado rápido de novas tecnologias
   Insira o URL da documentação técnica e o DevDocs rastreia e organiza todas as páginas. Você pode lê-las diretamente ou usar o Claude para fazer perguntas sobre usos específicos e ficar por dentro da nova tecnologia em poucos dias.
2. Trabalho em equipe
   Rastreie documentos internos da empresa e gere arquivos Markdown. Os membros da equipe consultam o servidor MCP para compartilhar conhecimento rapidamente.
3. Desenvolvimento de aplicativos de modelos grandes
   Colete dados técnicos com DevDocs e produza arquivos JSON. Acelere o desenvolvimento de aplicativos de IA combinando servidores MCP e grandes modelos.
4. Desenvolvimento de projetos individuais
   Os desenvolvedores independentes rastreiam a documentação com DevDocs, trabalham com VSCode e Claude e criam protótipos de produtos em dias.

QA

1. Há algum custo para os DevDocs?
   Sem custo. É uma ferramenta de código aberto, de uso gratuito, e futuros recursos de API estão planejados.
2. É necessário ter experiência em programação?
   Não é necessário. A instalação é feita com algumas linhas de comandos, seguidas pela interface.
3. E se o rastreamento falhar?
   Verifique a rede ou visualize a <项目目录>/logs Registro. O problema comum é a falta de permissões, basta seguir as etapas de instalação para ajustá-las.
4. Suporte para sites privados?
   Suporte, desde que o site esteja acessível. Os sites internos precisam garantir a conectividade da rede.
5. Qual é a diferença com o FireCrawl?
   O DevDocs é gratuito, rastreia rapidamente (1.000 páginas/minuto), suporta 5 níveis de profundidade e servidores MCP, enquanto o FireCrawl é pago e tem recursos limitados.