RAG에 대해 알아야 할 주요 기술 용어 설명

안녕하세요, 여러분! 저는 Towards AI의 공동 창립자이자 CTO인 Louis-Francois입니다. 오늘은 Wang 등의 훌륭한 연구(2024년) 덕분에 현재 사용 가능한 최고의 검색 증강 세대(RAG) 스택에 대해 자세히 알아보려고 합니다. 이 연구는 최적의 검색 증강 세대 스택을 구축할 수 있는 좋은 기회를 제공합니다. RAG 이 시스템은 귀중한 인사이트를 제공하며, 저는 그 수수께끼를 풀기 위해 여기에 있습니다.

그렇다면 무엇이 진정한 최고 수준의 RAG 시스템을 만들까요? 당연히 구성 요소입니다! 여러분도 최고의 RAG 시스템을 구축할 수 있도록 이러한 최고의 구성 요소와 그 작동 방식을 살펴보고, 마지막에 멀티모달 에그가 포함된 최고 수준의 RAG 시스템을 구축해 보세요.

쿼리 분류

먼저 문의 분류 시작. 빅 언어 모델이 이미 답을 알고 있는 경우도 있기 때문에 모든 쿼리를 검색할 필요는 없습니다. 예를 들어 "리오넬 메시는 누구인가요?"라고 묻는다면 라고 묻는다면 검색할 필요 없이 빅 언어 모델이 이미 답을 알고 있을 것입니다!

Wang 등은 쿼리가 충분한 정보를 제공하는지 또는 검색이 필요한지를 판단하기 위해 15개의 작업 범주를 만들었습니다. 이들은 이진 분류기를 학습시켜 작업을 구분하고, '충분함'으로 표시된 작업은 검색할 필요가 없는 것으로, '불충분함'으로 표시된 작업은 검색할 필요가 있는 것으로 구분했습니다. 이 이미지에서 노란색은 검색이 필요하지 않음을 의미하고 빨간색은 일부 문서를 검색해야 함을 의미합니다!

청킹

다음. 청크. 여기서 문제는 데이터에 적합한 최적의 청크 크기를 찾는 것입니다. 너무 긴가요? 불필요한 노이즈와 비용이 추가됩니다. 너무 짧다면? 문맥 정보를 놓칠 수 있습니다.

Wang 등은 청크 크기가 256에서 512 사이라는 사실을 발견했습니다. 토큰 사이가 가장 잘 작동합니다. 하지만 데이터 유형에 따라 다르므로 반드시 평가를 실행해 보세요! 전문가 팁: 데이터의 종류에 따라 small2big(검색할 때는 작은 청크로 시작한 다음 생성할 때는 큰 청크를 사용) 또는 슬라이딩 창 를 사용하여 청크 간에 토큰을 겹치게 할 수 있습니다.

메타데이터 및 하이브리드 검색

메타데이터를 활용하세요! 제목, 키워드, 가상의 질문까지 추가하세요. 그런 다음 하이브리드 검색벡터 검색(의미론적 일치를 위한)과 고전적인 BM25 키워드 검색을 사용하면 시스템이 훌륭하게 작동합니다.

HyDE(검색을 향상시키기 위해 의사 문서를 생성)는 멋지고 더 나은 결과를 제공하지만 매우 비효율적입니다. 당분간은 하이브리드 검색을 계속 사용하세요. 성능 균형이 더 잘 맞고 특히 프로토타이핑에 좋습니다.

임베딩 모델

오른쪽 선택 모델 임베딩 꼭 맞는 신발을 찾는 것과 같습니다. 테니스를 치기 위해 축구화를 신을 수는 없듯이, 플래그 임베딩의 LLM-임베더 이 연구에서 가장 적합한 것은 성능과 크기 사이의 적절한 균형입니다. 너무 크지도 작지도 않은 딱 적당한 크기.

오픈 소스 모델에 대해서만 테스트를 진행했기 때문에 Cohere 및 OpenAI의 모델은 고려되지 않습니다. 그렇지 않다면 Cohere가 최선의 선택일 것입니다.

벡터 데이터베이스

이제 데이터베이스로 이동합니다. 장기간 사용하려면Milvus 는 그들이 선택한 벡터 데이터베이스입니다. 오픈 소스이며 신뢰할 수 있고 검색 시스템을 원활하게 운영하는 데 탁월한 선택입니다. 아래 설명에 링크도 제공했습니다.

쿼리 변환

검색하기 전에 먼저 다음을 수행해야 합니다. 전환 사용자 문의! 또는 쿼리 재작성 를 사용하여 선명도를 높이거나 쿼리 분해 복잡한 문제를 더 작은 문제로 나누고 각 하위 문제를 검색하거나 심지어 의사 문서(예 HyDE 완료)를 검색 프로세스에서 사용하는데, 이 단계는 정확도를 높이는 데 매우 중요합니다. 특히 HyDE의 경우 전환 수가 많을수록 지연 시간이 증가한다는 점에 유의하세요.

순위 재조정

이제 이야기를 나눠보겠습니다. 재배치. 문서를 검색한 후에는 가장 관련성이 높은 문서가 맨 위에 있는지 확인해야 하며, 바로 이때 재정렬이 필요합니다.

이 연구에서는monoT5 은 성능과 효율성 사이에서 가장 우수한 옵션입니다. T5 모델을 미세 조정하여 쿼리와의 관련성에 따라 문서 순서를 다시 지정하여 가장 일치하는 문서를 우선순위에 두도록 합니다.RankLLaMA 전반적인 성능이 가장 우수하지만 TILDEv2 가장 빠른 속도. 관심이 있으시다면 백서에서 자세한 정보를 확인해보세요.

문서 재포장

재주문 후에는 몇 가지 작업을 수행해야 합니다. 문서 재포장 Wang 등은 '역방향' 방법, 즉 관련성이 높은 순서대로 문서를 정렬하는 방법을 사용할 것을 권장합니다. Liu 외(2024) 관련 정보를 처음이나 끝에 배치하는 이러한 접근 방식은 성능을 향상시키는 것으로 밝혀졌습니다. 리패키징은 이론적인 관련성 순서가 아니라 모델이 정보가 제공되는 순서를 더 잘 이해할 수 있도록 재정렬 프로세스 후 대규모 언어 모델에 정보가 표시되는 방식을 최적화합니다.

요약

그런 다음 빅 언어 모델을 호출하기 전에 요약 를 사용하여 중복 정보를 제거할 수 있습니다. 대규모 언어 모델에 보내는 긴 프롬프트는 비용이 많이 들고 불필요한 경우가 많습니다. 요약은 중복되거나 불필요한 정보를 제거하여 비용을 절감하는 데 도움이 될 수 있습니다.

다음과 같은 것을 사용할 수 있습니다. Recomp 이와 같은 도구는 추출 압축을 수행하여 유용한 문장을 선택하거나 생성 압축을 수행하여 여러 문서에서 정보를 통합합니다. 하지만 속도가 최우선이라면 이 단계를 건너뛸 수도 있습니다.

생성기 미세 조정

마지막으로, 사용 중인 이름 목록을 제공하는 것이 적절한가요? 생성 빅 언어 모델을 미세 조정하시나요? 당연히 그래야 합니다! 상관관계가 있는 문서 데이터와 무작위 문서 데이터를 혼합하여 미세 조정하면 관련 없는 정보를 처리하는 생성기의 능력이 향상됩니다. 이렇게 하면 모델이 더욱 견고해지고 전반적으로 더 나은 응답을 제공하는 데 도움이 됩니다. 정확한 비율은 백서에 나와 있지 않지만 결과는 매우 분명합니다. 미세 조정은 그만한 가치가 있습니다! 물론 특정 도메인에 따라 달라질 수도 있습니다.

멀티 모달리티

이미지를 처리할 때? 실현 멀티모달 검색. 텍스트-사진 작업의 경우 데이터베이스에서 유사한 사진을 쿼리하면 프로세스 속도를 높일 수 있습니다. 이미지 대 텍스트 작업에서는 유사한 이미지를 일치시키면 정확한 기존 설명을 검색할 수 있습니다. 핵심은 실제적이고 검증된 정보에 뿌리를 두고 있습니다.

요컨대, Wang 등이 작성한 이 논문은 효율적인 RAG 시스템을 구축하기 위한 확실한 청사진을 제공합니다. 하지만 이 논문은 하나의 논문일 뿐이며 RAG 파이프라인의 모든 측면을 다루고 있지는 않다는 점에 유의하세요. 예를 들어, 이 논문에서는 더 많은 잠재력을 발휘할 수 있는 리트리버와 제너레이터의 공동 훈련에 대해서는 다루지 않았습니다. 또한 이 논문에서는 비용 문제로 인해 조사되지 않은 청킹 기법에 대해서는 다루지 않았지만, 이는 살펴볼 가치가 있는 방향입니다.

자세한 내용은 백서 전문을 확인하시기 바랍니다.

언제나 그렇듯이 읽어주셔서 감사합니다. 이 분석이 도움이 되었거나 의견이 있으시면 댓글 섹션에 알려 주시면 다음에 다시 찾아뵙겠습니다!

프로덕션용 LLM 구축하기. https://amzn.to/4bqYU9b

Wang et al., 2024 (논문 참조). https://arxiv.org/abs/2407.01219

LLM-임베더 (모델 임베딩). https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/llm_embedder

Milvus (벡터 데이터베이스): https://milvus.io/

Liu 등, 2024 (문서 재포장). https://arxiv.org/abs/2307.03172

Recomp (요약 도구). https://github.com/carriex/recomp