지식창고를 위한 새로운 "메타데이터" 스마트 필터 v1.1.0 업데이트

2.6K 00

정보 폭증의 시대에 방대한 데이터에서 핵심 정보를 빠르고 정확하게 찾는 방법은 기업 및 개인 지식 관리의 핵심 과제가 되었습니다. 최근 Dify 제품팀은 v1.1.0을 출시하며 지식 필터 기능의 핵심으로 '메타데이터'를 혁신적으로 도입했습니다. 이 업데이트는 지식창고에 지능형 내비게이션 시스템을 설치하는 것과 같으며, 데이터 검색의 효율성과 정확성을 크게 향상시키고 사용자에게 보다 원활하고 효율적인 정보 액세스 환경을 제공할 수 있습니다.

과거에는 방대한 지식창고에 직면했을 때 사용자가 건초 더미에서 바늘을 찾는 것과 같아서 필요한 정보를 빠르게 찾기가 어려웠습니다. 메타데이터 필터링의 도입으로 이러한 상황이 바뀌었습니다. 메타데이터는 간단히 말해 "데이터에 관한 데이터"입니다. 메타데이터는 원본 데이터에 문서 작성자, 생성 날짜, 키워드 등 설명 태그와 속성을 추가합니다. 이렇게 구조화된 정보를 통해 사용자는 필요한 정보를 빠르게 찾을 수 있습니다. 이렇게 구조화된 정보를 통해 사용자는 필요에 따라 특정 필터링 조건을 설정하여 콘텐츠를 빠르게 타겟팅할 수 있습니다.

메타데이터 필터링이 RAG 애플리케이션을 어떻게 강화할 수 있을까요?

종속성의 경우 RAG 메타데이터 필터링은 검색 증강 생성(RAG) 기술을 적용할 때 특히 중요합니다. 메타데이터 필터링은 RAG 애플리케이션의 정보 검색 정확도를 향상시킬 뿐만 아니라 데이터 보안 및 액세스 제어에 있어서도 중요한 역할을 합니다. 여러 사용자가 서로 다른 권한 수준으로 정보에 액세스해야 하는 기업 시나리오를 상상해 보세요. 메타데이터 필터링을 사용하면 관리자가 세분화된 수준에서 권한을 쉽게 관리하여 권한이 부여된 사용자만 중요한 정보를 이용할 수 있도록 할 수 있습니다.

또한 메타데이터 필터링은 검색 성능을 최적화하고 컴퓨팅 리소스를 절약합니다. 미리 설정된 메타데이터 태그를 통해 시스템은 관련 문서를 더 빨리 찾고 비효율적인 검색을 줄여 전반적인 효율성을 개선할 수 있습니다. 이러한 사용자 지정 기능은 방대한 지식 베이스를 보유한 기업에게 중요한 효율성 개선 도구임에 틀림없습니다.

다음 다이어그램은 액세스 제어를 위한 메타데이터 필터링의 이점을 시각화한 것입니다. 프라이버시 수준, 업로더, 업데이트_날짜 등의 메타데이터 조건을 설정함으로써 시스템은 특정 정보에 대한 여러 사용자의 액세스 권한을 정밀하게 제어할 수 있습니다(예: RAG 2.0 로드맵).

간단히 말해, 메타데이터 필터링은 데이터에 컨텍스트 속성과 액세스 제어를 추가하여 더 스마트하고 안전하며 효율적인 정보 검색을 가능하게 하는 지능형 지식 관리자와 같습니다. 특히 RAG 시스템에서 메타데이터 필터링의 중요성은 개인정보 보호와 지식의 관련성이 모두 중요할 때 더욱 두드러집니다.

Dify에서 메타데이터 필터링은 어떻게 적용되나요?

존재 Dify v1.1.0에서는 사용자가 지식창고의 문서에 대한 메타데이터를 쉽게 추가 및 관리하고 메타데이터 필터링 규칙을 구성하여 보다 정확한 지식 검색을 할 수 있습니다.

1단계: 지식창고 문서에 메타데이터 추가하기

Dify의 지식창고 관리 인터페이스에서 사용자는 각 문서에 대한 사용자 지정 메타데이터를 추가할 수 있습니다. 문서가 만들어지면 파일 이름, 업로더, 업로드 날짜 등 몇 가지 기본 메타데이터가 자동으로 생성되며, 필요에 따라 새 메타데이터 필드를 수동으로 추가하고 필드 이름과 데이터 유형을 사용자 지정할 수 있습니다. 또한 사용자는 필요에 따라 새 메타데이터 필드를 수동으로 추가하고 필드 이름과 데이터 유형을 사용자 지정할 수 있으며, 문서 메타데이터의 일괄 편집 및 수정을 지원하므로 사용자가 지식창고를 빠르게 관리하고 업데이트할 수 있습니다. 이러한 문서 '태그 지정' 방식은 추후에 더욱 정교한 검색 및 관리를 위한 토대를 마련합니다.

2단계: 애플리케이션에서 메타데이터 필터링 구성하기

Dify v1.1.0은 챗봇에 "컨텍스트" 섹션을 추가하고 챗플로우 및 워크플로 메타데이터 필터링 구성 포털은 모든 지식 검색 노드에서 제공됩니다. 사용자는 실제 필요에 따라 자동 또는 수동 필터링 모드를 선택할 수 있습니다. 자동 모드에서는 시스템이 사용자 쿼리를 지능적으로 분석하여 자동으로 필터 조건을 추출하고 생성합니다. 수동 모드에서는 사용자가 메타데이터 필드 유형(문자열, 숫자, 시간)에 따라 필터링 조건을 사용자 지정하고 여러 조건 간의 "AND" 또는 "OR" 관계를 유연하게 설정할 수 있습니다.

세 가지 주요 메타데이터 유형과 해당 적용 시나리오

Dify v1.1.0은 현재 문자열, 숫자, 시간 등 세 가지 유형의 메타데이터를 지원하여 다양한 시나리오의 지식 관리 요구를 충족합니다.

문자열 메타데이터: 검색 컨텍스트 관련성 향상
예를 들어 사용자가 '프로젝트 보고서'를 검색하면 시스템은 '마케팅' 또는 'R&D'와 같은 메타데이터 태그가 있는 문서의 반환 우선순위를 정하여 관련 없는 많은 정보를 걸러내고 검색 결과의 정확도를 향상시킬 수 있습니다. 이렇게 하면 관련 없는 많은 정보를 걸러내고 검색 결과의 정확도가 향상됩니다.
숫자 메타데이터: 향상된 액세스 제어
숫자 메타데이터를 통해 권한 수준에 따른 액세스 제어를 수행할 수 있습니다. 예를 들어, 특정 권한을 가진 사용자만 설정된 임계값보다 높은 개인정보 보호 수준의 문서를 검색할 수 있어 데이터 보안과 규정 준수를 보장할 수 있습니다.
임시 메타데이터: 효율적인 문서 버전 관리
임시 메타데이터는 사용자가 문서의 이전 버전과 새 버전을 구분하는 데 도움이 됩니다. 문서가 업데이트되고 다시 업로드된 후 사용자는 임시 필터링을 통해 최신 버전을 빠르게 검색할 수 있습니다. 또한, 일시적 메타데이터는 업로더 정보와 함께 동일한 문서의 여러 과거 버전을 비교하고 분석하여 문서 처리의 일관성을 보장할 수 있습니다.

전반적으로 Dify v1.1.0에 도입된 메타데이터 필터링 기능은 기존 지식창고 관리 솔루션의 중요한 업그레이드입니다. 정보 검색의 효율성과 정확성을 향상시킬 뿐만 아니라 데이터 보안 및 액세스 제어를 더욱 강력하게 지원합니다. Dify v1.1.0은 지능형 RAG 애플리케이션을 구축하고자 하는 기업과 개발자에게 주목할 만한 업데이트입니다. 자세한 내용은 공식 Dify 기술 자료에서 메타데이터 필터링의 편리함과 효율성을 직접 경험해 보시기 바랍니다.