DevDocs：技術文書を素早くクロールして整理するMCPサービス

はじめに

DevDocsは、CyberAGIチームによって開発され、GitHubでホストされている完全に無料のオープンソースツールです。プログラマーやソフトウェア開発者向けに設計されており、技術文書のURLから始まり、関連するページを自動的にクロールし、簡潔なMarkdownまたはJSONファイルに整理します。組み込みの エムシーピー サーバーの使用をサポートしている。 クロード DevDocsの目標は、ドキュメントの調査にかかる数週間を数時間に短縮し、開発者が新しいテクノロジーに素早く対応できるようにすることだ。個人開発者、チーム、企業ユーザーに適しており、現在のところ利用料は無料なので、誰でもダウンロードして使うことができる。

機能一覧

• インテリジェント・ドキュメント・クローリングURLを入力すると、関連するページを自動的にクロール。
• 複数のフォーマットに整理するキャプチャしたコンテンツをMarkdownまたはJSONファイルに変換し、読みやすく、さらに処理しやすくします。
• MCPサーバーの統合クロードのような大きなモデルと連携し、ドキュメントをインテリジェントにクエリするMCPサーバーを内蔵。
• 自動リンク発見コンテンツの整合性を確保するために、ページ内のサブリンクを特定し、分類する。
• 並列処理アクセラレーション複数のページを複数のスレッドでクロールし、効率を上げる。
• 選択的クローリングユーザーは、無関係な情報を避けるために、何を抽出するかを指定することができます。
• エラー回復メカニズムクロール失敗時に自動的に再試行し、安定性を確保します。
• 完全なロギングトラブルシューティングを容易にするため、操作の全ステップを記録します。

ヘルプの使用

設置プロセス

DevDocsはDockerで動作し、インストールも簡単だ。詳しい手順は以下の通り：

1. 環境を整える
   • GitとDockerをインストールする必要がある：
     • Git: git-scm.comからダウンロードしてインストールする。
     • Docker: docker.comからDocker Desktopをダウンロードしてインストールする。
   • Dockerが正しく起動しているか確認するには、ターミナルで次のように入力する。 docker --versionバージョン番号が表示されれば成功です。
2. クローンコード
   • ターミナル（Windowsの場合はCMDまたはPowerShell、Mac/Linuxの場合はターミナル）を開く。
   • DevDocsをダウンロードするコマンドを入力してください：

     git clone https://github.com/cyberagiinc/DevDocs.git
     

   • プロジェクト・カタログにアクセスする：

     cd DevDocs
     

3. サービス開始
   • オペレーティング・システムに従ってスタートアップ・スクリプトを実行する：
     • Mac/Linux：

       ./docker-start.sh
       

     • ウィンドウズ

       docker-start.bat
       

   • Windowsユーザーは、パーミッションに問題がある場合、フォルダーのパーミッションを手動で設定することができる：

     icacls logs /grant Everyone:F /T
     icacls storage /grant Everyone:F /T
     icacls crawl_results /grant Everyone:F /T
     

   • 開始後、数秒待つと、ターミナルにサービスが正常に実行されていることが表示される。
4. アクセスツール
   • ブラウザを開き、次のように入力する。 http://localhost:3001をクリックして、DevDocsフロントエンド・インターフェースにアクセスしてください。
   • その他のサービス住所
     • バックエンドAPI：http://localhost:24125
     • クロール4AI 服务：http://localhost:11235

主な機能

1.技術文書をクロールする

• 動く::
  1. インターフェイスの入力ボックスにターゲットURLを貼り付ける。 https://docs.example.com.
  2. クロールの深さを選択する（1～5層、デフォルトは5）。
  3. クロール開始」をクリックする。
  4. 完了を待つと、インターフェイスにクロールされたページのリストが表示されます。
• 銘記する::
  • クロールは高速で、毎分最大1000ページを処理する。
  • 結果は <项目目录>/crawl_results フォルダー
• 高度なオプション::
  • オプションでクロールが可能で、必要なものを刻んでいく。

2.文書の内容を整理する

• リグ::
  • クロール後、コンテンツは自動的にMarkdownまたはJSONファイルに整理される。
  • ある <项目目录>/crawl_results ビューのデフォルトはMarkdown形式です。
• トグル形式::
  • 大規模なモデルの微調整のために、インターフェースの設定で「JSONにエクスポート」を選択します。

3.MCPサーバーと大型モデルの使用

• 意図する::
  • クロードデスクトップアプリ（anthropic.com）をダウンロードしてインストールする。
  • DevDocsのMCPサーバーはデフォルトでローカルに実行され、追加の設定は必要ない。
• 動く::
  1. クロードアプリを開く。
  2. この文書には何が書かれているか」などの質問を入力する。
  3. クロードはMCPサーバーからデータを読み込んで答える。
• 延長使用::
  • ローカルドキュメントを <项目目录>/storageクロードは直接アクセスできる。
  • この技術はどのように導入されているのか」といった複雑な質問をサポートする。

4.ロギングとモニタリング

• ログを見る::
  • ログファイルは <项目目录>/logs含まれている：
    • frontend.logフロントエンドのログ。
    • backend.logバックエンドのログ。
    • mcp.logMCPサーバーのログ。
  • Dockerでライブログを見る：

    docker logs -f devdocs-backend
    

• サービスの中止::
  • 端末で Ctrl+Cすべてのサービスを停止する。

5.実践スクリプト

• このプロジェクトでは、以下のような様々なスクリプトを提供している。 <项目目录>/scripts::
  • check_mcp_health.shMCPサーバーの状態を確認する。
  • debug_crawl4ai.shクローリングサービスのデバッグ
  • view_result.shクロール結果を見る
• 走行モード::
  • ターミナルでスクリプト・ディレクトリに移動し、次のようにタイプする。 ./脚本名 実施する。

運営プロセスの概要

1. DockerとGitをインストールし、コードをダウンロードする。
2. スタートアップスクリプトを実行し、インターフェイスにアクセスする。
3. URLを入力し、文書をクロールして整理する。
4. クロードでコンテンツを照会し、効率化を図る。

アプリケーションシナリオ

1. 新技術の迅速な習得
   技術文書のURLを入力すると、DevDocsがすべてのページをクロールして整理します。直接読むこともできますし、Claude を使って特定の用途について質問することもできます。
2. チームワーク
   社内文書をクロールし、Markdownファイルを生成。チームメンバーがMCPサーバーを介してクエリを実行し、ナレッジを迅速に共有。
3. 大規模モデル・アプリケーションの開発
   DevDocsで技術データを収集し、JSONファイルを出力。MCPサーバーとビッグモデルの組み合わせでAIアプリケーション開発を加速。
4. 個別プロジェクト開発
   インディーズ開発者は、DevDocsでドキュメントをクロールし、VSCodeとClaudeで作業し、数日で製品をプロトタイプ化する。

品質保証

1. DevDocsは有料ですか？
   無料。オープンソースのツールで、無料で使用でき、将来のAPI機能も計画されている。
2. プログラミングの経験が必要ですか？
   必要ない。インストールは数行のコマンドと、それに続くインターフェイスで行われる。
3. クロールに失敗したら？
   ネットワークを確認するか <项目目录>/logs ログ一般的な問題はパーミッションが不十分なことで、インストール手順に従ってパーミッションを調整してください。
4. プライベート・サイトのサポート？
   ウェブサイトがアクセス可能である限り、サポートする。内部ウェブサイトはネットワーク接続性を確保する必要がある。
5. FireCrawlとの違いは？
   DevDocsは無料で、クロール速度が速く（1000ページ/分）、5段階の深さとMCPサーバーをサポートしている。