AI 엔지니어링 아카데미: 2.12 셀프 쿼리 RAG: 메타데이터 필터링을 통한 향상된 검색 증강 생성

선물(직업 등)

셀프 쿼리 RAG(SQRAG)는 수집 단계에서 메타데이터 추출과 검색 단계에서 지능형 쿼리 구문 분석을 도입하여 기존 RAG를 개선하는 고급 검색 증강 생성(RAG) 접근 방식입니다. RAG 프로세스.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/07_Self_Query_RAG

기관차

기존의 RAG 시스템은 의미론적 유사성 및 특정 메타데이터 제약 조건과 관련된 복잡한 쿼리를 처리하는 데 어려움을 겪는 경우가 많습니다. 자체 쿼리 RAG는 메타데이터를 활용하고 대규모 언어 모델(LLM)을 사용하여 사용자 쿼리를 지능적으로 구문 분석함으로써 이러한 문제를 해결합니다.

방법론적 세부 사항

문서 전처리 및 벡터 저장소 생성

1. 문서를 관리하기 쉬운 덩어리로 분할하세요.
2. 각 청크에서 메타데이터(예: 날짜, 작성자, 카테고리)를 추출합니다.
3. 적절한 임베딩 모델을 사용하여 각 너겟을 임베드합니다.
4. 너겟, 임베딩 벡터 및 관련 메타데이터를 벡터 데이터베이스에 색인화합니다.

자체 쿼리 RAG 워크플로

1. 사용자가 자연어 쿼리를 제출합니다.
2. 대규모 언어 모델(LLM)을 사용하여 쿼리를 구문 분석하여 사용자 의도와 쿼리 구조를 파악합니다.
3. LLM 세대:
   a) 쿼리 기반 메타데이터 필터링 조건.
   b) 콘텐츠 관련 검색을 위한 시맨틱 검색 쿼리.
4. 메타데이터 필터를 적용하여 검색 범위를 좁히세요.
5. 필터링된 하위 집합에서 시맨틱 검색을 수행합니다.
6. 검색된 문서 청크는 원래 사용자 쿼리와 결합되어 컨텍스트를 형성합니다.
7. 최종 답변을 생성하기 위해 대규모 언어 모델(LLM)에 컨텍스트를 전달합니다.

셀프 쿼리 RAG의 주요 기능

• 메타데이터 추출구조화된 정보로 문서 표현을 개선하세요.
• 지능형 쿼리 해결LLM을 사용하여 복잡한 사용자 쿼리를 이해합니다.
• 하이브리드 검색메타데이터 필터링과 시맨틱 검색의 결합.
• 유연한 문의사용자가 자연어로 메타데이터 제약 조건을 암시적으로 지정할 수 있습니다.

이 방법의 이점

1. 검색 정확도 향상메타데이터 필터를 사용하면 보다 관련성 높은 문서로 검색 범위를 좁힐 수 있습니다.
2. 복잡한 쿼리 처리는 콘텐츠 유사성 및 메타데이터 제약 조건과 관련된 쿼리를 해석하고 응답할 수 있습니다.
3. 효율적인 검색메타데이터 필터링은 의미론적 검색이 필요한 문서의 수를 크게 줄일 수 있습니다.
4. 향상된 컨텍스트메타데이터는 응답 생성을 개선하는 추가적인 구조화된 정보를 제공합니다.

평결에 도달하기

셀프 쿼리 RAG는 메타데이터 추출과 지능형 쿼리 구문 분석을 도입하여 기존 RAG 프로세스를 개선합니다. 이 접근 방식은 특히 의미적 유사성 및 특정 메타데이터 제약 조건과 관련된 복잡한 쿼리의 경우 검색을 더욱 정확하고 효율적으로 만듭니다. 쿼리 이해를 위해 대규모 언어 모델(LLM)을 활용하는 셀프 쿼리 RAG는 AI Q&A 시스템에 보다 정확하고 맥락에 맞는 응답을 제공합니다.