AI 엔지니어링 연구소: 2.9 문장 창 검색 증강 생성(RAG)

소개

문장 창을 기반으로 하는 검색 증강 생성(RAG) 방법은 다음과 같습니다. RAG AI가 생성한 응답의 문맥 인식 및 일관성을 향상시키기 위해 설계된 프레임워크의 높은 수준의 구현입니다. 이 접근 방식은 대규모 언어 모델의 강력한 성능과 효율적인 정보 검색 기술을 결합하여 문맥이 풍부한 고품질 응답을 생성하기 위한 신뢰할 수 있는 솔루션을 제공합니다.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/04_Sentence_Window_RAG

기관차

기존의 RAG 시스템은 더 큰 맥락에서 일관성을 유지하는 데 어려움을 겪거나 여러 텍스트 블록에 걸쳐 있는 정보를 처리할 때 부적절한 성능을 보이는 경우가 많습니다. 문장 창 기반 검색 강화 생성 접근법은 색인 과정에서 텍스트 블록 간의 문맥 관계를 보존하고 이 정보를 검색 및 생성 프로세스에서 활용함으로써 이러한 한계를 해결합니다.

방법론적 세부 사항

문서 전처리 및 벡터 저장소 생성

1. 문서 분할: 입력 문서를 문장으로 분할합니다.
2. 텍스트 블록 생성: 문장을 관리하기 쉬운 텍스트 덩어리로 그룹화합니다.
3. 임베디드 표현각 텍스트 블록은 임베딩 모델을 통해 처리되어 벡터 표현을 생성합니다.
4. 벡터 데이터베이스 색인텍스트 블록, 텍스트 콘텐츠 및 임베딩 벡터의 ID를 벡터 데이터베이스에 저장하여 효율적인 유사도 검색을 수행합니다.
5. 문서 구조 색인별도의 데이터베이스를 사용하여 각 블록의 앞뒤 블록에 대한 참조를 포함하여 텍스트 블록 간의 관계를 저장합니다.

검색 개선 생성 워크플로

1. 쿼리 처리텍스트 블록과 동일한 임베딩 모델을 사용하여 사용자 쿼리의 임베디드 표현.
2. 유사 검색쿼리 임베딩 벡터를 사용하여 벡터 데이터베이스에서 가장 관련성이 높은 텍스트 블록을 검색합니다.
3. 컨텍스트 확장(컴퓨팅)검색된 각 텍스트 블록에 대해 문서 구조 데이터베이스에서 컨텍스트 확장을 위해 앞뒤 텍스트 블록을 k개 가져옵니다.
4. 문맥 조합검색된 텍스트 블록과 그 확장된 컨텍스트를 원래 쿼리와 결합합니다.
5. 응답 생성하기확장된 컨텍스트와 쿼리를 빅 언어 모델에 전달하여 최종 답변을 생성합니다.

RAG의 핵심 기능

• 효율적인 검색벡터 유사도 검색을 통한 빠르고 정확한 정보 검색.
• 상황에 맞는 예약: 인덱싱 단계에서 문서 구조와 텍스트 블록 간의 관계를 유지합니다.
• 유연한 컨텍스트 창: 검색 단계에서 컨텍스트 창의 크기를 조정할 수 있습니다.
• 확장성대용량 문서 컬렉션과 다양한 쿼리 유형을 처리할 수 있습니다.

이 방법의 장점

1. 일관성 향상주변 텍스트 블록을 도입하여 문맥 정보가 향상되어 보다 일관되고 맥락에 맞는 정확한 응답을 제공합니다.
2. 환각 감소확장된 컨텍스트에 액세스하면 모델이 검색된 정보를 기반으로 답변을 생성할 수 있으므로 허위 또는 관련 없는 콘텐츠가 생성될 확률이 줄어듭니다.
3. 스토리지 효율성필요한 정보만 벡터 데이터베이스에 저장하여 저장 공간을 최적화합니다.
4. 조정 가능한 컨텍스트 창: 다양한 쿼리 또는 애플리케이션의 필요에 따라 컨텍스트 창 크기를 동적으로 조정할 수 있습니다.
5. 문서 구조 유지원본 문서의 구조와 흐름을 유지하면 AI가 보다 미묘한 방식으로 문서를 이해하고 생성할 수 있습니다.

요약

문장 창 기반 검색 증강 생성(RAG) 접근 방식은 AI가 생성한 응답의 품질과 문맥 관련성을 개선하기 위한 강력한 솔루션을 제공합니다. 이 접근 방식은 문서 구조를 보존하고 유연한 문맥 확장을 지원함으로써 기존 RAG 시스템의 몇 가지 주요 한계를 효과적으로 해결합니다. 고급 Q&A 시스템, 문서 분석 및 콘텐츠 생성 애플리케이션을 구축하기 위한 안정적인 프레임워크를 제공합니다.