AI 공과대학: 2.8 혼합 RAG(2.9와 동일)

문장 창 기반 리트리버 RAG 방법론

소개

검색기를 위한 문장 창 기반 검색 증강 생성(RAG) 방식은 AI가 생성한 응답의 문맥 인식과 일관성을 향상시키기 위해 고안된 RAG 프레임워크의 높은 수준의 구현입니다. 이 접근 방식은 대규모 언어 모델의 장점과 효율적인 정보 검색 기술을 결합하여 문맥이 풍부한 고품질의 응답을 생성하는 강력한 솔루션을 제공합니다.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/03_Hybrid_RAG

기관차

기존의 RAG 시스템은 종종 더 넓은 범위의 문맥에서 일관성을 유지하는 데 어려움을 겪거나 여러 텍스트 블록에 걸쳐 있는 정보를 처리하는 데 어려움을 겪습니다. 문장 창 기반 검색 접근 방식은 색인 과정에서 텍스트 블록 간의 문맥 관계를 보존하고 검색 및 생성 과정에서 이 정보를 활용함으로써 이러한 한계를 해결합니다.

방법론적 세부 사항

문서 전처리 및 벡터 저장소 인덱스 생성

1. 문서 분할: 입력 문서를 문장으로 분할합니다.
2. 텍스트 블록 생성: 문장을 관리하기 쉬운 텍스트 덩어리로 그룹화합니다.
3. 임베딩각 텍스트 블록은 임베딩 모델을 통해 처리되어 벡터 표현을 생성합니다.
4. 벡터 데이터베이스 색인텍스트 블록, 텍스트 콘텐츠 및 임베딩 벡터의 ID를 벡터 데이터베이스에 저장하여 효율적인 유사도 검색을 수행합니다.
5. 문서 구조 색인: 각 블록과 그 앞뒤의 k 블록 사이의 참조를 포함하여 텍스트 블록 간의 관계를 개별적으로 저장합니다.

검색 개선 생성 워크플로

1. 쿼리 처리텍스트 블록과 동일한 임베딩 모델을 사용하여 사용자 쿼리를 임베딩합니다.
2. 유사 검색쿼리 임베딩을 사용하여 벡터 데이터베이스에서 가장 관련성이 높은 텍스트 덩어리를 찾을 수 있습니다.
3. 컨텍스트 확장(컴퓨팅)검색된 각 텍스트 블록에 대해 시스템은 문서 구조 데이터베이스에서 그 앞과 뒤의 인접한 텍스트 블록 k개를 가져옵니다.
4. 맥락화검색된 텍스트 블록과 그 확장된 컨텍스트를 원래 쿼리와 결합합니다.
5. 생성확장 컨텍스트와 쿼리를 대규모 언어 모델에 전달하여 응답을 생성합니다.

흐름도

다음 순서도는 문장 창 기반 리트리버 RAG 메서드를 설명합니다:

RAG의 주요 기능

• 효율적인 검색벡터 유사도 검색을 이용한 빠르고 정확한 정보 검색.
• 상황에 맞는: 색인 프로세스 중에 문서 구조와 텍스트 블록 간의 관계를 유지합니다.
• 유연한 컨텍스트 창검색 중 컨텍스트 창의 동적 크기 조정을 지원합니다.
• 확장성대용량 문서 모음과 다양한 쿼리 유형을 처리할 수 있습니다.

이 방법의 장점

1. 일관성 향상인접한 텍스트 블록을 포함하여 보다 일관성 있고 맥락에 맞는 정확한 응답을 생성합니다.
2. 환각 감소검색된 문맥 정보를 통해 부정확하거나 관련 없는 콘텐츠가 생성될 확률을 줄입니다.
3. 효율적인 스토리지필요한 정보만 벡터 데이터베이스에 저장하여 저장 공간을 최적화합니다.
4. 조정 가능한 컨텍스트 창: 다양한 쿼리 또는 애플리케이션 요구 사항에 따라 컨텍스트 창 크기를 동적으로 조정합니다.
5. 문서 구조 유지문서의 원래 구조와 정보 흐름을 보존하여 의미론적으로 더 이해하기 쉬운 생성이 가능합니다.

평결에 도달하기

문장 창 기반 리트리버 RAG 접근 방식은 AI가 생성한 답변의 품질과 문맥 관련성을 개선하기 위한 강력한 솔루션을 제공합니다. 이 접근 방식은 문서 구조를 보존하고 유연한 문맥 확장을 지원함으로써 기존 RAG 시스템의 주요 한계를 해결하고 고급 Q&A 시스템, 문서 분석 및 콘텐츠 생성 애플리케이션을 구축하기 위한 안정적인 프레임워크를 제공합니다.