PRAG: Q&A 시스템의 성능 향상을 위한 파라메트릭 검색 증강 생성 도구

일반 소개

PRAG(파라메트릭 검색 증강 생성)은 대규모 언어 모델(LLM)의 파라미터 공간에 외부 지식을 직접 포함시켜 생성을 향상시키도록 설계된 혁신적인 검색 증강 생성 툴입니다. 이 도구는 기존의 문맥 검색 증강 생성 방법의 한계를 극복하고 계산 오버헤드를 줄이며 외부 지식을 심층적으로 통합하여 모델의 추론 및 합성 기능을 향상시킵니다. PRAG는 다양한 퀴즈 데이터 세트의 성능 테스트를 위한 데이터 향상 모듈, 파라미터 훈련 모듈, 추론 모듈을 포함한 엔드투엔드 구현을 제공합니다.

기능 목록

• 데이터 향상 모듈문서를 데이터로 강화된 데이터 세트로 변환합니다.
• 매개변수 교육 모듈: 추가 LoRA 매개변수를 학습하여 문서의 매개변수화된 표현을 생성합니다.
• 추론 모듈관련 문서의 매개변수화된 표현을 병합하고 추론을 위해 LLM에 삽입합니다.
• 환경 설치자세한 환경 설치 단계 및 종속성을 제공합니다.
• 자기 계발사전 강화된 데이터 파일 또는 자체 처리된 데이터 강화 기능을 직접 사용할 수 있도록 지원합니다.
• 검색 준비검색을 위해 Wikipedia 데이터셋을 다운로드하고 준비합니다.

도움말 사용

환경 설치

1. 가상 환경을 만들고 활성화합니다:

   conda create -n prag python=3.10.4
conda activate prag

2. 필요한 종속성을 설치합니다:

   pip install torch==2.1.0
pip install -r requirements.txt

3. 수정 src/root_dir_path.py 정곡을 찌르세요 ROOT_DIR 변수는 PRAG가 저장된 폴더의 주소입니다.

데이터 향상

1. 사전 강화된 데이터 파일을 사용합니다:

   tar -xzvf data_aug.tar.gz

2. 자체 처리 데이터 향상:
   • Wikipedia 데이터 세트를 다운로드하세요: bash
mkdir -p data/dpr
wget -O data/dpr/psgs_w100.tsv.gz https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz

   • 의도 BM25 검색되었습니다: bash
# 具体步骤请参考项目文档


파라메트릭 교육

1. 문서의 매개변수화된 표현을 생성합니다:

   # 具体步骤请参考项目文档

추론

1. 관련 문서의 매개변수화된 표현이 병합되어 추론을 위해 LLM에 삽입됩니다:

   # 具体步骤请参考项目文档