PrivateGPT: 완전히 현지화된 RAG 처리 흐름을 갖춘 문서 Q&A 시스템

일반 소개

PrivateGPT는 프로덕션 환경에서 사용할 수 있는 AI 프로젝트로, 사용자가 인터넷 연결 없이 대규모 언어 모델(LLM)을 사용하여 문서를 퀴즈할 수 있게 해줍니다. 이 프로젝트는 100%의 데이터 프라이버시를 보장하며 모든 데이터는 사용자의 실행 환경에서 공개되지 않고 처리됩니다. PrivateGPT는 비공개 상황 인식 AI 애플리케이션 구축을 지원하는 API를 제공하기 위해 Zylon 팀에서 개발했습니다. 이 프로젝트는 일반 응답과 스트리밍 응답을 모두 지원하기 위해 OpenAI API 표준을 따르고 확장하며, 의료 및 법률과 같이 높은 수준의 데이터 프라이버시가 필요한 도메인에 적합합니다.

유사한 프로젝트:Kotaemon: 배포가 간편한 오픈 소스 멀티모달 문서 퀴즈 도구

 

기능 목록

• 문서 수집: 문서 구문 분석, 분할, 메타데이터 추출, 임베딩 생성 및 저장을 관리합니다.
• 채팅 및 완료: 수집된 문서의 컨텍스트를 사용하여 대화 및 작업을 완료할 수 있습니다.
• 임베딩 생성: 텍스트를 기반으로 임베딩을 생성합니다.
• 컨텍스트 블록 검색: 쿼리 리턴을 기반으로 문서에서 가장 관련성이 높은 텍스트 블록을 수집합니다.
• Gradio UI 클라이언트: API 테스트를 위한 작동 중인 클라이언트를 제공합니다.
• 일괄 모델 다운로드 스크립트, 수집 스크립트, 문서 폴더 모니터링 등을 위한 도구.

 

도움말 사용

설치 프로세스

1. 클론 창고먼저 PrivateGPT의 GitHub 리포지토리를 복제합니다.

   git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. 종속성 설치사용pip필요한 Python 종속성을 설치합니다.

   pip install -r requirements.txt

3. 구성 환경환경 변수 및 설정 파일을 필요에 따라 구성합니다.

   cp settings-example.yaml settings.yaml
# 编辑settings.yaml文件，配置相关参数

4. 서비스 시작: Docker를 사용하여 서비스를 시작합니다.

   docker-compose up -d

문서 Q&A 기능 사용하기

1. 문서 수집: 처리할 문서를 지정된 폴더에 넣고 수집 스크립트를 실행합니다.

   python scripts/ingest.py --input-folder path/to/documents

2. Q&A 상호 작용Q&A 상호작용을 위해 Gradio UI 클라이언트를 사용합니다.

   python app.py
# 打开浏览器访问http://localhost:7860

높은 수준의 API 사용

1. 문서 파싱 및 임베딩 생성하이레벨 API를 사용한 문서 구문 분석 및 임베딩 생성.

   from private_gpt import HighLevelAPI
api = HighLevelAPI()
api.ingest_documents("path/to/documents")

2. 문맥 검색 및 답변 생성고급 API를 사용한 컨텍스트 검색 및 답변 생성.

   response = api.chat("你的问题")
print(response)

로우레벨 API 사용

1. 임베딩 세대로우레벨 API를 사용하여 텍스트 임베딩을 생성합니다.

   from private_gpt import LowLevelAPI
api = LowLevelAPI()
embedding = api.generate_embedding("你的文本")

2. 컨텍스트 블록 검색로우레벨 API를 사용한 컨텍스트 블록 검색.

   chunks = api.retrieve_chunks("你的查询")
print(chunks)

도구 세트 사용

1. 배치 모델 다운로드대량 모델 다운로드 스크립트를 사용하여 필요한 모델을 다운로드합니다.

   python scripts/download_models.py

2. 문서 폴더 모니터링문서 폴더 모니터 도구를 사용하여 새 문서를 자동으로 수집합니다.

   python scripts/watch_folder.py --folder path/to/documents