情報爆発時代において、膨大なデータからいかに迅速かつ正確に重要な情報を探し出すかが、企業や個人のナレッジマネジメントの中核的な課題となっています。最近、Dify製品チームはv1.1.0をリリースし、知識フィルター機能の中核として「メタデータ」を革新的に立ち上げました。このアップデートは、ナレッジベースにインテリジェントナビゲーションシステムをインストールするようなもので、データ検索の効率と精度を大幅に向上させ、ユーザーにスムーズで効率的な情報アクセス体験をもたらします。
以前は、膨大なナレッジベースに直面すると、ユーザーは干し草の山から針を探すようなもので、必要な情報を素早く見つけることが困難でした。メタデータ・フィルタリングの導入は、この状況を一変させた。メタデータとは、要するに「データについてのデータ」である。この構造化された情報によって、ユーザーは必要な情報を素早く見つけることができる。 この構造化された情報によって、ユーザーは自分のニーズに応じて特定のフィルタリング条件を設定することができ、コンテンツのターゲットを素早く絞り込むことができる。
メタデータのフィルタリングは、RAGのアプリケーションをどのように強化できるのか？
依存関係 ラグ メタデータのフィルタリングは、RAG（Retrieval-Augmented Generation）技術の応用において特に重要である。メタデータフィルタリングは、RAGアプリケーションの情報検索の精度を向上させるだけでなく、データセキュリティとアクセス制御においても重要な役割を果たします。 異なるユーザーが異なる権限レベルで情報にアクセスする必要がある企業シナリオを想像してみてください。メタデータのフィルタリングにより、管理者は簡単にきめ細かなレベルでアクセス許可を管理することができ、機密情報を許可されたユーザーのみが利用できるようにすることができます。
さらに、メタデータフィルタリングは検索パフォーマンスを最適化し、コンピューティングリソースを節約する。あらかじめ設定されたメタデータ・タグにより、システムは関連文書をより迅速に探し出し、非効率な検索を減らすことができるため、全体的な効率が向上する。このカスタマイズ機能は、膨大な知識ベースを持つ企業にとって、間違いなく重要な効率改善ツールである。
次の図は、アクセス制御のためのメタデータフィルタリングの利点を視覚化したものです。privacylevel、uploader、update_dateといったメタデータの条件を設定することで、例えばRAG 2.0のロードマップのように、特定の情報に対する異なるユーザーのアクセス権を正確に制御することができます。
一言で言えば、メタデータフィルタリングはインテリジェントなナレッジスチュワードのようなもので、データにコンテキスト属性とアクセス制御を追加することで、よりスマートで安全かつ効率的な情報検索を可能にする。特にRAGシステムでは、知識のプライバシーと関連性の両方が重要である場合、メタデータフィルタリングの重要性はより顕著になる。
Difyのメタデータフィルタリングはどのように適用されるのですか？
ある ダイファイ v1.1.0では、ナレッジ・ベース内のドキュメントのメタデータを簡単に追加・管理し、より正確なナレッジ検索のためのメタデータ・フィルタリング・ルールを設定することができます。
ステップ1：ナレッジ・ベース・ドキュメントにメタデータを追加する
Difyのナレッジベース管理インターフェイスでは、各文書にカスタムメタデータを追加することができます。ドキュメントの作成時には、ファイル名、アップローダー、アップロード日などのデフォルトのメタデータが自動的に生成され、必要に応じて新しいメタデータフィールドを手動で追加したり、フィールド名やデータタイプをカスタマイズすることができます。さらに、ユーザーは、新しいメタデータフィールドを手動で追加し、必要に応じてフィールド名やデータタイプをカスタマイズすることができます。Difyは、ドキュメントのメタデータの一括編集と修正をサポートしており、ユーザーがナレッジベースを素早く管理し、更新することを容易にしています。このように文書に「タグ付け」することで、その後の洗練された検索や管理の基礎が築かれます。
ステップ2：アプリケーションでメタデータ・フィルタリングを設定する
Dify v1.1.0では、Chatbotに「Context」セクションが追加されました。 ワークフロー 知識検索ノードは、メタデータのフィルタリングのための設定ポータルを提供する。ユーザーは実際のニーズに応じて、自動または手動のフィルタリングモードを選択できる。自動モードでは、システムがユーザーのクエリをインテリジェントに分析し、フィルタリング条件を自動的に抽出して生成します。手動モードでは、メタデータのフィールドタイプ（文字列、数値、時間）に基づいてフィルタリング条件をカスタマイズし、複数の条件間の「AND」または「OR」関係を柔軟に設定することができます。
3つの主要なメタデータ・タイプとその適用シナリオ
Dify v1.1.0は現在、文字列、数値、時間の3種類のメタデータをサポートしており、様々なシナリオにおけるナレッジマネジメントのニーズに対応しています。
- 文字列メタデータ：は、検索コンテキストの関連性を向上させる 例えば、ユーザーが「プロジェクト報告書」を検索した場合、システムは「マーケティング」や「研究開発」などのタグが付いた文書を優先的に返すことができる。例えば、ユーザーが "project report "と検索した場合、システムは "Marketing "や "R&D "とタグ付けされたドキュメントを優先的に返すことができるため、大量の無関係な情報をフィルタリングし、検索結果の精度を向上させることができる。
- 数値メタデータ ： アクセス制御の強化 数値メタデータにより、権限レベルに基づいたアクセス制御が実現できます。例えば、設定された閾値以上のプライバシーレベルを持つ文書は、特定の権限を持つユーザーのみが取得できるなど、データのセキュリティとコンプライアンスを確保することができます。
- Temporal Metadata ： 効果的にドキュメントのバージョンを管理 Temporal Metadataは、ユーザーがドキュメントの古いバージョンと新しいバージョンを区別するのに役立ちます。ドキュメントが更新され、再アップロードされた後、ユーザーは時間的フィルタリングによって最新バージョンを素早く取得することができます。さらに、時間メタデータは、アップローダー情報と組み合わせることで、ユーザーが同じ文書の異なる履歴バージョンを比較・分析し、文書処理の一貫性を確保することも容易にします。
全体として、Dify v1.1.0で導入されたメタデータのフィルタリング機能は、既存の知識ベース管理ソリューションの重要なアップグレードです。これは、情報検索の効率と精度を向上させるだけでなく、データセキュリティとアクセスコントロールをより強力にサポートします。Dify v1.1.0は、インテリジェントなRAGアプリケーションを構築したい企業や開発者にとって、注目すべきアップデートです。詳細については、公式のDify Knowledge Baseをチェックし、メタデータフィルタリングの利便性と効率性をご自身で体験されることをお勧めします。
参考資料 ： https://docs.dify.ai/zh-hans/guides/knowledge-base
日本語 
简体中文 
English 
Deutsch (Sie) 
Português do Brasil