Dify v0.15.0: 새로운 상위-하위 검색 전략 - 보다 정확하고 포괄적인 지식 검색

13.6K 00

오늘, 저희는 다음을 소개합니다. Dify 버전 v0.15.0에는 새로운 '상위-하위 검색' 기능이 추가되었습니다. 이는 검색 증강 세대(RAG) 시스템에서 구현된 고급 기술로, 정보 수집과 문맥 이해를 더욱 향상시키는 것을 목표로 합니다.이 기능을 통해 Dify는 AI 생성을 위한 보다 포괄적이고 맥락에 맞는 정보를 제공하여 LLM 애플리케이션 응답의 품질과 정확성을 크게 향상시킬 수 있습니다.

컨텍스트와 정확성의 딜레마

지식창고 검색 시스템을 사용할 때 사용자는 종종 검색 결과가 너무 단편적이어서 LLM이 정보를 이해하기에 충분한 맥락이 부족하거나 너무 광범위하여 정보 과부하가 발생하고 정확성이 저하되는 곤란한 딜레마에 직면하게 됩니다. 이로 인해 LLM은 필요한 정보를 효율적으로 찾고 사용하기가 어렵습니다.

이러한 맥락에서 AI 애플리케이션이 정확하고 포괄적인 응답을 생성하려면 적절한 청크 크기가 매우 중요합니다. 그 결과, Dify는 정확성과 컨텍스트 간의 이상적인 균형을 이루는 새로운 상위-하위 검색 기능을 제공하여 지식 검색 프로세스의 전반적인 성능과 안정성을 크게 향상시킵니다.

상위-하위 검색: 정밀도와 컨텍스트의 균형 맞추기

부모-자식 검색은 데이터 형식의 2계층 구조를 사용하여 이루어집니다. RAG 이 시스템은 보다 유연하고 효과적인 검색 방식을 제공하여 정확한 매칭과 포괄적인 문맥 정보를 모두 제공합니다. 기본 메커니즘은 다음과 같습니다:

하위 블록 매칭 쿼리

문서를 더 작고 집중된 정보 단위(예: 문장)로 나누면 사용자 쿼리와 일치할 때 더 정확도가 높아집니다.
하위 블록은 사용자의 요구와 가장 관련성이 높은 예비 결과를 신속하게 제공할 수 있습니다.

2. 상위 블록은 컨텍스트를 제공합니다.

일치하는 하위 블록(예: 단락, 섹션 또는 전체 문서)을 포함하는 더 큰 부분은 상위 블록으로 취급되어 더 큰 언어 모델(LLM)에서 사용할 수 있습니다.
상위 블록은 LLM에 완전한 컨텍스트 정보를 제공하고 중요한 세부 정보가 누락되는 것을 방지합니다.

이러한 계층적 검색 접근 방식은 문맥을 유지하면서 검색 결과의 정확성을 보장합니다. 예를 들어 고객 지원의 경우 상위-하위 검색은 상세한 제품 설명서를 참조하여 보다 상세하고 전 세계적인 맥락에 맞는 답변을 제공할 수 있으므로 콘텐츠 생성 측면에서 언어 모델 출력의 정확성과 정보의 풍부함을 개선할 수 있습니다.

일반 검색 VS 상위-하위 검색

아래 그림에서 볼 수 있듯이 동일한 문서에서 상위-하위 검색을 사용하여 제공되는 컨텍스트 정보는 보다 포괄적이며 높은 수준의 정확도를 유지할 수 있어 기존의 단일 계층 일반 검색보다 훨씬 우수합니다.

상위-하위 검색을 사용하는 방법

데이터 소스:데이터 소스를 선택하고 지식 검색을 위해 문서를 가져오세요.
청크

일반 청킹 또는 상위-하위 청킹 전략을 선택하고 청크 크기 등의 매개변수를 설정한 다음 청킹 결과를 미리 볼 수 있습니다.
부모-자식 청킹을 선택한 경우 두 가지 모드를 사용할 수 있습니다:
- 단락 모드: 구분 기호 및 최대 청크 길이를 기준으로 텍스트를 단락으로 나누고 이러한 단락을 상위 청크로 취급합니다. 명확하고 비교적 독립된 단락이 있는 문서에 적합합니다.
- 전체 문서 모드: 전체 문서를 상위 블록으로 사용하며, 완전한 컨텍스트 검색이 필요한 시나리오에 적합합니다.

모드에 관계없이 자식 블록은 부모 블록에서 더 세분화됩니다. 인덱싱 방법과 검색 설정을 완료한 후 사용자는 부모 블록 또는 자식 블록 중 하나를 편집할 수 있습니다. 부모 블록 편집은 자식 블록을 다시 생성할지 여부를 선택할 수 있으며, 자식 블록 편집은 부모 블록의 콘텐츠에는 영향을 미치지 않지만 해당 부모 블록을 더 잘 검색할 수 있도록 사용자 지정 태그로 사용할 수 있습니다. 자세한 내용은 📖를 확인하세요. 도움말 파일.

기타 업데이트 주요 사항: 더욱 직관적인 상위-하위 블록 표시

로우코드 플랫폼인 Dify는 기술적 배경 지식이 없는 사용자도 상위-하위 검색 기능을 쉽게 이해하고 사용할 수 있도록 노력하고 있습니다. 이번 업데이트에서는 청크 미리 보기를 다음과 같이 개선했습니다:

더 명확한 블록 구조:각 상위 블록은 별도의 모듈로 표시되며 하위 블록은 회색 배경에 블록 번호가 표시되어 있습니다.
편리한 마우스 오버 정보:마우스를 하위 블록 위로 가져가면 해당 하위 블록이 파란색으로 강조 표시되고 단어 수 정보가 표시됩니다.

테스트 미리 보기를 검색합니다:부모 블록은 미리 보기 창의 왼쪽에 표시되며, 일치하는 모든 하위 블록은 해당 점수와 함께 파란색으로 강조 표시되어 사용자가 한눈에 확인할 수 있습니다.

이번 업데이트를 통해 Dify의 상위-하위 검색 기능은 LLM 애플리케이션에 더욱 정밀하고 포괄적인 검색 결과를 제공하여 정보 수집의 효율성과 정확성을 크게 향상시켜 기업과 개발자가 지능형 워크플로에서 보다 효율적인 지식 관리와 가치 창출을 달성할 수 있도록 지원합니다.