wdoc: 방대한 다중 소스 문서에서 콘텐츠를 검색하고 지식을 요약하세요.

일반 소개

wdoc은 크고 다양한 문서를 처리하고 분석하기 위해 설계된 강력한 RAG(검색 증강 생성) 시스템입니다. PDF, 웹 페이지, YouTube 동영상, 오디오 파일 등 다양한 문서 유형에서 검색할 수 있습니다. wdoc은 특히 대량의 정보 소스를 처리하는 데 적합하므로 대량의 정보로 작업해야 하는 연구자, 학생, 전문가에게 이상적인 도구입니다. 이 시스템은 문서 처리를 위해 LangChain 라이브러리를 활용하고, 광범위한 LLM(대규모 언어 모델) 공급자를 지원하며, 매우 정확한 검색 및 요약 기능을 제공합니다. wdoc은 여전히 지속적으로 개발 중이며, 사용자 피드백과 기능 요청을 환영합니다.

기능 목록

• 다중 파일 유형 지원PDF, 웹 페이지, YouTube 동영상, 오디오 파일 등 15개 이상의 파일 유형을 지원합니다.
• 고정밀 검색 및 요약 기능임베디드 검색 및 시맨틱 일괄 처리를 통해 매우 정확한 문서 검색 및 요약 기능을 제공합니다.
• 멀티-LLM 지원로컬 모델과 추가 보안 계층이 있는 비공개 모델을 포함하여 여러 LLM 제공업체가 지원됩니다.
• 고급 RAG 기능약한 LLM은 관련 없는 문서를 필터링하는 데 사용되며, 강한 LLM은 의미론적 클러스터링 및 정렬을 통해 정확한 답변을 제공하고 답변을 병합하는 데 사용됩니다.
• 손쉬운 확장도구일 뿐만 아니라 다른 Python 프로젝트에서 wdoc을 사용할 수 있는 라이브러리이기도 합니다.
• 자세한 문서 및 도움말사용자가 빠르게 시작할 수 있도록 풍부한 문서와 도움말 정보가 제공됩니다.

도움말 사용

마운팅

wdoc을 실행하려면 현재 Python 버전 3.11이 필요합니다. 올바른 버전의 Python이 설치되어 있는지 확인한 다음 아래 단계에 따라 설치하세요:

1. pip를 사용하여 설치합니다:

   pip install -U wdoc

2. 또는 특정 git 브랜치를 설치하세요:

   pip install git+https://github.com/thiswillbeyourgithub/wdoc@dev
   

3. pdftotext 및 fasttext 지원을 설치하는 것이 좋습니다:

   pip install -U wdoc[pdftotext] wdoc[fasttext]
   

활용

1. 필요한 API 키를 환경 변수로 추가합니다:

   export OPENAI_API_KEY="您的API密钥"
   

2. wdoc을 시작합니다:

   wdoc --task=query --path=您的文档路径
   

기능 작동 흐름

문서 검색

wdoc을 사용하여 문서 내용을 쿼리합니다:

wdoc --task=query --path=您的文档路径 --filetype=pdf --query="查询内容"

이 명령은 지정된 경로에서 PDF 파일을 로드하고 쿼리에 따라 검색하여 관련 문서를 반환합니다.

문서 요약

wdoc을 사용하여 문서를 요약합니다:

wdoc --task=summarize --path=您的文档路径 --filetype=pdf

이 명령은 지정된 PDF 파일의 경로를 요약하고 문서 콘텐츠에 대한 자세한 요약을 반환합니다.

결합된 작업

쿼리 작업과 요약 작업을 결합할 수도 있습니다:

wdoc --task=summarize_then_query --path=您的文档路径 --filetype=pdf

이 명령은 먼저 문서의 내용을 요약한 다음 요약된 내용에 대해 추가 문의를 할 수 있도록 합니다.

고급 기능

wdoc은 다음과 같은 다양한 고급 기능을 지원합니다:

• 다중 파일 유형 지원재귀 경로, 링크된 파일 등을 통해 여러 파일 유형을 로드합니다.
• 고급 RAG 기능다중 쿼리 검색 및 시맨틱 일괄 처리와 같은 기술을 사용하여 검색 정확도를 개선합니다.
• 로컬 및 비공개 LLM 지원데이터가 외부 제공업체에 유출되지 않고 안전하게 보호되는지 확인하세요.
• 자세한 문서 및 도움말통해wdoc --help사용 방법에 대한 자세한 정보를 확인하세요.