DevDocs : un service MCP pour l'exploration et l'organisation rapides de la documentation technique

Introduction générale

DevDocs est un outil entièrement gratuit et open source développé par l'équipe de CyberAGI et hébergé sur GitHub. Conçu pour les programmeurs et les développeurs de logiciels, il part de l'URL d'un document technique, explore automatiquement la page concernée et l'organise en un fichier Markdown ou JSON concis. Il intègre des fonctions de MCP et le soutien à l'utilisation de l'outil de gestion de l'information. Claude L'objectif de DevDocs est de réduire à quelques heures des semaines de recherche documentaire et d'aider les développeurs à se familiariser rapidement avec les nouvelles technologies. DevDocs s'adresse aux développeurs individuels, aux équipes et aux entreprises. Il est actuellement gratuit et tout le monde peut donc le télécharger et l'utiliser.

Liste des fonctions

• Exploration intelligente de documentsLe site Web de la Commission européenne : Saisissez une URL et parcourez automatiquement les pages pertinentes, en prenant en charge de 1 à 5 niveaux de profondeur.
• Organiser en plusieurs formatsLes contenus capturés sont convertis en fichiers Markdown ou JSON pour faciliter la lecture et le traitement ultérieur.
• Intégration du serveur MCPLe serveur MCP intégré qui travaille avec de grands modèles tels que Claude pour interroger les documents de manière intelligente.
• Découverte automatique des liensLes liens secondaires : Identifier et classer les liens secondaires d'une page pour garantir l'intégrité du contenu.
• Accélération du traitement parallèleLes pages peuvent être parcourues en plusieurs fois pour plus d'efficacité.
• l'exploration sélectiveLes utilisateurs peuvent spécifier ce qu'il faut extraire afin d'éviter les informations non pertinentes.
• Mécanisme de récupération des erreurs：爬取失败时自动重试，保证稳定性。
• Enregistrement completLes informations sur le fonctionnement de l'appareil sont enregistrées à chaque étape de l'opération, ce qui facilite le dépannage.

Utiliser l'aide

Processus d'installation

DevDocs fonctionne avec Docker et est facile à installer. Voici les étapes détaillées :

1. Préparation de l'environnement
   • Git et Docker doivent être installés :
     • Git : téléchargez et installez à partir de git-scm.com.
     • Docker : Téléchargez Docker Desktop à partir de docker.com et installez-le.
   • Pour vérifier si Docker fonctionne correctement, dans le terminal, tapez docker --versionSi vous voyez le numéro de version, vous avez réussi.
2. Clonage du code
   • Ouvrez un terminal (CMD ou PowerShell pour Windows, Terminal pour Mac/Linux).
   • Entrez la commande pour télécharger les DevDocs :

     git clone https://github.com/cyberagiinc/DevDocs.git
     

   • Accédez au catalogue de projets :

     cd DevDocs
     

3. Démarrage des services
   • Exécutez le script de démarrage en fonction du système d'exploitation :
     • Mac/Linux :

       ./docker-start.sh
       

     • Fenêtres :

       docker-start.bat
       

   • Les utilisateurs de Windows peuvent définir manuellement les autorisations des dossiers s'ils rencontrent des problèmes avec les autorisations :

     icacls logs /grant Everyone:F /T
     icacls storage /grant Everyone:F /T
     icacls crawl_results /grant Everyone:F /T
     

   • Après le démarrage, attendez quelques secondes et le terminal indique que le service fonctionne correctement.
4. outil d'accès
   • Ouvrez votre navigateur et tapez http://localhost:3001pour accéder à l'interface DevDocs.
   • Autres adresses de service :
     • API dorsale :http://localhost:24125
     • Crawl4AI Services :http://localhost:11235

Principales fonctions

1. explorer la documentation technique

• déplacer: :
  1. Collez l'URL cible dans le champ de saisie de l'interface, par exemple https://docs.example.com.
  2. Sélectionnez la profondeur d'exploration (1 à 5 couches, 5 par défaut).
  3. Cliquez sur "Start Crawling".
  4. Attendez la fin de l'opération, l'interface affichera la liste des pages explorées.
• prendre note: :
  • L'exploration est rapide, traitant jusqu'à 1000 pages par minute.
  • Les résultats sont enregistrés dans le fichier <项目目录>/crawl_results Dossier.
• Options avancées: :
  • Il est possible de ramper de manière sélective, en cochant ce qui est nécessaire.

2. organiser le contenu des documents

• gréement: :
  • Après l'exploration, le contenu est automatiquement organisé en fichiers Markdown ou JSON.
  • existent <项目目录>/crawl_results qui est au format Markdown par défaut.
• Changement de format: :
  • Sélectionnez "Export to JSON" dans les paramètres de l'interface pour la mise au point de grands modèles.

3. utilisation de serveurs MCP et de grands modèles

• vouloir: :
  • Téléchargez et installez l'application Claude Desktop (anthropic.com).
  • Le serveur MCP de DevDocs fonctionne localement par défaut et ne nécessite aucune configuration supplémentaire.
• déplacer: :
  1. Ouvrez l'application Claude.
  2. Saisissez une question, telle que "Que dit ce document".
  3. Claude lira les données du serveur MCP et répondra.
• Utilisation étendue: :
  • Placer le document local dans le <项目目录>/storageClaude est accessible directement.
  • Soutien aux questions complexes telles que "comment cette technologie est-elle mise en œuvre".

4. l'enregistrement et le suivi

• Voir le journal: :
  • Les fichiers journaux se trouvent dans le répertoire <项目目录>/logs, inclus :
    • frontend.log: Logs frontaux.
    • backend.logLes journaux de l'arrière-boutique.
    • mcp.logLes journaux du serveur MCP.
  • Afficher les journaux en direct avec Docker :

    docker logs -f devdocs-backend
    

• Arrêt des services: :
  • Au terminal, appuyez sur Ctrl+CLe système d'information de la Commission européenne a été mis en place, et tous les services ont été fermés.

5. scripts pratiques

• Le projet offre une variété de scripts situés dans la section <项目目录>/scripts: :
  • check_mcp_health.shVérifier l'état du serveur MCP : Vérifier l'état du serveur MCP.
  • debug_crawl4ai.shLe service d'exploration (crawling) : Débogage du service d'exploration (crawling).
  • view_result.sh: Voir les résultats du crawl.
• mode de fonctionnement: :
  • Allez dans le répertoire des scripts dans le terminal et tapez ./脚本名 Mise en œuvre.

Résumé du processus opérationnel

1. Installez Docker et Git et téléchargez le code.
2. Exécutez le script de démarrage pour accéder à l'interface.
3. Saisir l'URL, explorer et organiser le document.
4. Interroger le contenu avec Claude pour plus d'efficacité.

scénario d'application

1. Apprentissage rapide des nouvelles technologies
   Entrez l'URL de la documentation technique et DevDocs parcourt et organise toutes les pages. Vous pouvez les lire directement ou utiliser Claude pour poser des questions sur des utilisations spécifiques et vous familiariser avec la nouvelle technologie en quelques jours.
2. Travail d'équipe
   Parcourez les documents internes de l'entreprise et générez des fichiers Markdown. Les membres de l'équipe interrogent le serveur MCP pour partager rapidement leurs connaissances.
3. Développement d'applications de grands modèles
   Collectez des données techniques avec DevDocs et produisez des fichiers JSON. Accélérer le développement d'applications d'IA en combinant les serveurs MCP et les grands modèles.
4. Développement de projets individuels
   Les développeurs indépendants se débarrassent de la documentation avec DevDocs, travaillent avec VSCode et Claude, et réalisent des prototypes en quelques jours.

QA

1. Les DevDocs sont-ils payants ?
   Il est gratuit. Il s'agit d'un outil open source, dont l'utilisation est gratuite, et de futures fonctionnalités API sont prévues.
2. Expérience en programmation requise ?
   Pas nécessaire. L'installation se fait en quelques lignes de commandes, suivies de l'interface.
3. Que se passe-t-il en cas d'échec de la recherche ?
   Vérifier le réseau ou afficher le <项目目录>/logs Journal. Le problème le plus fréquent est l'insuffisance des autorisations. Il suffit de suivre les étapes de l'installation pour les ajuster.
4. Soutien aux sites privés ?
   Soutien, tant que le site web est accessible. Les sites web internes doivent garantir la connectivité du réseau.
5. Quelle est la différence avec FireCrawl ?
   DevDocs est gratuit, explore rapidement (1000 pages/minute), prend en charge 5 niveaux de profondeur et les serveurs MCP, tandis que FireCrawl est payant et possède des fonctionnalités limitées.