DevDocs: 기술 문서를 빠르게 크롤링하고 정리할 수 있는 MCP 서비스

일반 소개

DevDocs는 CyberAGI 팀이 개발한 완전 무료 오픈 소스 도구로 GitHub에서 호스팅됩니다. 프로그래머와 소프트웨어 개발자를 위해 설계된 이 도구는 기술 문서의 URL에서 시작하여 관련 페이지를 자동으로 크롤링하고 이를 간결한 마크다운 또는 JSON 파일로 정리합니다. 내장된 MCP 서버의 사용 지원 Claude 및 기타 대규모 모델 통합을 통해 사용자가 자연어로 문서 콘텐츠를 쿼리할 수 있습니다. DevDocs의 목표는 몇 주에 걸리는 문서 조사 시간을 몇 시간으로 단축하고 개발자가 새로운 기술을 빠르게 익힐 수 있도록 돕는 것입니다. 개인 개발자, 팀 및 엔터프라이즈 사용자에게 적합하며 현재 무료로 제공되므로 누구나 다운로드하여 사용할 수 있습니다.

기능 목록

• 지능형 문서 크롤링URL을 입력하면 관련 페이지를 자동으로 크롤링하여 1~5단계의 깊이를 지원합니다.
• 다양한 형식으로 정리하기캡처한 콘텐츠를 쉽게 읽고 추가 처리할 수 있도록 마크다운 또는 JSON 파일로 변환합니다.
• MCP 서버 통합Claude와 같은 대형 모델과 함께 작동하여 문서를 지능적으로 쿼리할 수 있는 MCP 서버가 내장되어 있습니다.
• 자동 링크 검색페이지 내 하위 링크를 식별하고 분류하여 콘텐츠 무결성을 보장합니다.
• 병렬 처리 가속화여러 스레드에서 여러 페이지를 크롤링하여 효율성을 높입니다.
• 선택적 크롤링관련 없는 정보를 피하기 위해 추출할 항목을 지정할 수 있습니다.
• 오류 복구 메커니즘크롤링이 실패하면 자동으로 다시 시도하여 안정성을 보장합니다.
• 전체 로깅쉽게 문제를 해결할 수 있도록 작업의 모든 단계를 기록하세요.

도움말 사용

설치 프로세스

DevDocs는 Docker와 함께 실행되며 설치가 쉽습니다. 자세한 단계는 다음과 같습니다:

1. 환경 준비하기
   • Git 및 Docker를 설치해야 합니다:
     • Git: git-scm.com에서 다운로드하여 설치합니다.
     • 도커: docker.com에서 도커 데스크톱을 다운로드하여 설치합니다.
   • Docker가 올바르게 실행되고 있는지 확인하려면 터미널 유형에서 다음과 같이 입력합니다. docker --version버전 번호가 표시되면 성공한 것입니다.
2. 코드 복제
   • 터미널을 엽니다(Windows의 경우 CMD 또는 PowerShell, Mac/Linux의 경우 터미널).
   • 명령을 입력하여 개발자 문서를 다운로드합니다:

     git clone https://github.com/cyberagiinc/DevDocs.git
     

   • 프로젝트 카탈로그로 이동합니다:

     cd DevDocs
     

3. 서비스 시작
   • 운영 체제에 따라 부팅 스크립트를 실행합니다:
     • Mac/Linux:

       ./docker-start.sh
       

     • Windows:

       docker-start.bat
       

   • Windows 사용자는 권한에 문제가 있는 경우 폴더 권한을 수동으로 설정할 수 있습니다:

     icacls logs /grant Everyone:F /T
     icacls storage /grant Everyone:F /T
     icacls crawl_results /grant Everyone:F /T
     

   • 시작한 후 몇 초간 기다리면 터미널에 서비스가 성공적으로 실행되고 있음을 표시합니다.
4. 액세스 도구
   • 브라우저를 열고 다음을 입력합니다. http://localhost:3001를 클릭하여 DevDocs 프런트엔드 인터페이스에 액세스합니다.
   • 기타 서비스 주소:
     • 백엔드 API:http://localhost:24125
     • Crawl4AI 서비스:http://localhost:11235

주요 기능

1. 기술 문서 크롤링

• 이동::
  1. 인터페이스 입력 상자에 대상 URL을 붙여넣습니다(예 https://docs.example.com.
  2. 크롤링 깊이(1~5개 레이어, 기본값 5)를 선택합니다.
  3. '크롤링 시작'을 클릭합니다.
  4. 완료될 때까지 기다리면 인터페이스에 크롤링된 페이지 목록이 표시됩니다.
• 다음 사항에 유의하십시오.::
  • 크롤링 속도가 빨라 분당 최대 1,000페이지를 처리합니다.
  • 결과는 <项目目录>/crawl_results 폴더.
• 고급 옵션::
  • 필요한 항목만 선택적으로 크롤링할 수 있습니다.

2. 문서 내용 정리하기

• rig::
  • 크롤링이 끝나면 콘텐츠는 자동으로 마크다운 또는 JSON 파일로 정리됩니다.
  • 존재 <项目目录>/crawl_results 보기는 기본적으로 마크다운 형식입니다.
• 형식 토글::
  • 대규모 모델 미세 조정을 위해 인터페이스 설정에서 'JSON으로 내보내기'를 선택합니다.

3. MCP 서버 및 대형 모델 사용

• 의도::
  • Claude 데스크톱 앱을 다운로드하여 설치합니다(anthropic.com).
  • DevDocs의 MCP 서버는 기본적으로 로컬에서 실행되며 추가 구성이 필요하지 않습니다.
• 이동::
  1. 클로드 앱을 엽니다.
  2. "이 문서의 내용은 무엇인가요?"와 같은 질문을 입력합니다.
  3. Claude가 MCP 서버에서 데이터를 읽고 응답합니다.
• 확장 사용::
  • 로컬 문서를 <项目目录>/storageClaude에 직접 액세스할 수 있습니다.
  • "이 기술은 어떻게 구현되는가"와 같은 복잡한 질문에 대한 지원.

4. 로깅 및 모니터링

• 로그 보기::
  • 로그 파일은 <项目目录>/logs가 포함되어 있습니다:
    • frontend.log프런트엔드 로그.
    • backend.log백엔드 로그.
    • mcp.log: MCP 서버 로그.
  • Docker로 실시간 로그 보기:

    docker logs -f devdocs-backend
    

• 서비스 중단::
  • 터미널에서 다음을 누릅니다. Ctrl+C를 클릭하고 모든 서비스를 종료합니다.

5. 실용적인 스크립트

• 이 프로젝트는 다음과 같은 다양한 스크립트를 제공합니다. <项目目录>/scripts::
  • check_mcp_health.sh: MCP 서버 상태를 확인합니다.
  • debug_crawl4ai.sh크롤링 서비스 디버깅하기.
  • view_result.sh: 크롤링 결과 보기.
• 실행 모드::
  • 터미널의 스크립트 디렉토리로 이동하여 다음을 입력합니다. ./脚本名 구현.

운영 프로세스 요약

1. Docker와 Git을 설치하고 코드를 다운로드합니다.
2. 시작 스크립트를 실행하여 인터페이스에 액세스합니다.
3. URL을 입력하고 크롤링하여 문서를 정리합니다.
4. Claude로 콘텐츠를 쿼리하여 효율성을 높이세요.

애플리케이션 시나리오

1. 새로운 기술에 대한 빠른 학습
   기술 문서 URL을 입력하면 DevDocs가 모든 페이지를 크롤링하여 정리합니다. 직접 읽거나 Claude를 사용하여 특정 용도에 대해 질문하고 며칠 안에 새로운 기술을 빠르게 익힐 수 있습니다.
2. 팀워크
   회사 내부 문서를 크롤링하고 마크다운 파일을 생성하세요. 팀원들이 MCP 서버를 통해 쿼리하여 지식을 빠르게 공유합니다.
3. 대형 모델 애플리케이션 개발
   DevDocs로 기술 데이터를 수집하고 JSON 파일을 출력하세요. MCP 서버와 빅 모델을 결합하여 AI 애플리케이션 개발을 가속화하세요.
4. 개별 프로젝트 개발
   인디 개발자는 DevDocs로 문서를 크롤링하고, VSCode 및 Claude로 작업하고, 며칠 만에 제품을 프로토타입으로 제작합니다.

QA

1. 개발자 문서에 대한 요금이 있나요?
   무료입니다. 오픈 소스 도구로 무료로 사용할 수 있으며 향후 API 기능이 추가될 예정입니다.
2. 프로그래밍 경험이 필요하신가요?
   필요하지 않습니다. 몇 줄의 명령어와 인터페이스를 통해 설치가 완료됩니다.
3. 크롤링이 실패하면 어떻게 되나요?
   네트워크를 확인하거나 <项目目录>/logs 로그. 일반적인 문제는 권한이 부족한 경우이며, 설치 단계에 따라 권한을 조정하기만 하면 됩니다.
4. 비공개 사이트를 지원하나요?
   웹사이트에 액세스할 수 있는 경우에만 지원됩니다. 내부 웹사이트는 네트워크 연결이 보장되어야 합니다.
5. FireCrawl과의 차이점은 무엇인가요?
   DevDocs는 무료이며, 크롤링 속도가 빠르고(분당 1000페이지), 5단계의 깊이와 MCP 서버를 지원하는 반면, FireCrawl은 유료이며 기능이 제한되어 있습니다.