Dify v1.1.0 Neuer Smart Filter "Metadaten" für die Wissensdatenbank

Im Zeitalter der Informationsexplosion ist das schnelle und genaue Auffinden von Schlüsselinformationen aus riesigen Datenmengen zur zentralen Herausforderung für das Wissensmanagement von Unternehmen und Privatpersonen geworden. Vor kurzem hat das Dify-Produktteam die Version 1.1.0 veröffentlicht und die "Metadaten" als Kern der Wissensfilterfunktion innovativ eingeführt. Dieses Update ist wie die Installation eines intelligenten Navigationssystems für die Wissensdatenbank, das die Effizienz und Genauigkeit der Datenabfrage erheblich verbessern kann und den Benutzern einen reibungsloseren und effizienteren Informationszugang ermöglicht.

In der Vergangenheit glich die Suche nach Informationen in einer riesigen Wissensdatenbank oft der Suche nach der Nadel im Heuhaufen, so dass es schwierig war, die benötigten Informationen schnell zu finden. Mit der Einführung der Metadatenfilterung hat sich diese Situation geändert. Metadaten sind, kurz gesagt, "Daten über Daten". Sie fügen den Originaldaten zusätzliche beschreibende Tags und Attribute hinzu, z. B. den Ersteller des Dokuments, das Erstellungsdatum, Schlüsselwörter usw. Mit diesen strukturierten Informationen können die Benutzer die benötigten Informationen schnell finden. Anhand dieser strukturierten Informationen können die Benutzer je nach ihren Bedürfnissen spezifische Filterbedingungen festlegen, um Inhalte schnell zu finden.

Wie kann die Filterung von Metadaten die RAG-Anwendungen unterstützen?

Für Abhängigkeiten RAG Die Filterung von Metadaten ist von besonderer Bedeutung für die Anwendung der Retrieval-Augmented Generation (RAG) Technologie. Sie verbessert nicht nur die Genauigkeit des Informationsabrufs für RAG-Anwendungen, sondern spielt auch eine Schlüsselrolle bei der Datensicherheit und der Zugriffskontrolle. Stellen Sie sich ein Unternehmensszenario vor, in dem verschiedene Benutzer mit unterschiedlichen Berechtigungsstufen auf Informationen zugreifen müssen. Mit der Metadatenfilterung können Administratoren auf einfache Weise die Berechtigungen auf einer granularen Ebene verwalten und so sicherstellen, dass sensible Informationen nur für autorisierte Benutzer zugänglich sind.

Darüber hinaus optimiert die Metadatenfilterung auch die Suchleistung und spart Rechenressourcen. Mit voreingestellten Metadaten-Tags ist das System in der Lage, relevante Dokumente schneller zu finden und ineffektive Suchvorgänge zu reduzieren, was die Gesamteffizienz verbessert. Diese Anpassungsmöglichkeit ist zweifellos ein wichtiges Instrument zur Effizienzsteigerung für Unternehmen mit umfangreichen Wissensbeständen.

Das folgende Diagramm veranschaulicht die Vorteile der Metadatenfilterung für die Zugriffskontrolle. Durch die Festlegung von Metadatenbedingungen wie Privacy Level, Uploader und Update Date kann das System die Zugriffsrechte verschiedener Nutzer auf bestimmte Informationen, z.B. für RAG 2.0 Roadmaps, genau steuern.

Kurz gesagt ist die Metadatenfilterung wie ein intelligenter Wissensverwalter, der eine intelligentere, sichere und effiziente Informationsabfrage ermöglicht, indem er den Daten kontextbezogene Attribute und eine Zugangskontrolle hinzufügt. Vor allem in RAG-Systemen ist die Bedeutung der Metadatenfilterung besonders groß, wenn sowohl der Schutz der Privatsphäre als auch die Relevanz des Wissens entscheidend sind.

Wie wird die Metadatenfilterung in Dify angewendet?

existieren Dify In der Version 1.1.0 können Benutzer auf einfache Weise Metadaten für Dokumente in der Wissensdatenbank hinzufügen und verwalten und Regeln für die Filterung von Metadaten konfigurieren, um eine genauere Wissensabfrage zu ermöglichen.

Schritt 1: Hinzufügen von Metadaten zu Dokumenten der Wissensdatenbank

In der Wissensdatenbank-Verwaltungsoberfläche von Dify können Benutzer benutzerdefinierte Metadaten für jedes Dokument hinzufügen. Das System generiert automatisch einige Standard-Metadaten, wenn ein Dokument erstellt wird, wie z.B. Dateiname, Uploader und Upload-Datum, und Sie können manuell neue Metadatenfelder hinzufügen und Feldnamen und Datentypen nach Bedarf anpassen. Darüber hinaus können Benutzer neue Metadatenfelder manuell hinzufügen und die Feldnamen und Datentypen nach Bedarf anpassen.Dify unterstützt die Stapelbearbeitung und -modifikation von Dokument-Metadaten, so dass die Benutzer ihre Wissensdatenbank schnell verwalten und aktualisieren können. Diese Art der "Verschlagwortung" von Dokumenten legt den Grundstein für eine spätere verfeinerte Suche und Verwaltung.

Schritt 2: Konfigurieren Sie die Metadatenfilterung in der Anwendung

Dify v1.1.0 fügt den Abschnitt "Kontext" zum Chatbot hinzu, sowie den Chatflow und Arbeitsablauf Das Konfigurationsportal für die Metadatenfilterung ist in allen Wissensabfrageknoten vorhanden. Die Benutzer können je nach ihrem tatsächlichen Bedarf zwischen automatischer und manueller Filterung wählen. Im automatischen Modus analysiert das System auf intelligente Weise die Benutzeranfragen und extrahiert und generiert automatisch Filterbedingungen. Im manuellen Modus können die Benutzer die Filterbedingungen auf der Grundlage der Metadatenfeldtypen (String, numerisch, Zeit) anpassen und flexibel die "UND"- oder "ODER"-Beziehung zwischen mehreren Bedingungen festlegen.

Die drei wichtigsten Metadatentypen und ihre Anwendungsszenarien

Dify v1.1.0 unterstützt derzeit drei Arten von Metadaten - String, numerisch und Zeit - um den Anforderungen des Wissensmanagements in verschiedenen Szenarien gerecht zu werden.

• String-Metadaten ： verbessert die Relevanz des Suchkontextes Wenn ein Benutzer beispielsweise nach "Projektbericht" sucht, kann das System vorrangig Dokumente mit den Begriffen "Marketing" oder "F&E" usw. anzeigen. Wenn ein Benutzer z. B. nach "Projektbericht" sucht, kann das System vorrangig Dokumente anzeigen, die mit "Marketing" oder "F&E" gekennzeichnet sind, und so eine große Menge irrelevanter Informationen herausfiltern und die Genauigkeit der Suchergebnisse verbessern.
• Numerische Metadaten ： Verbesserte Zugriffskontrolle Mit numerischen Metadaten kann eine Zugriffskontrolle auf der Grundlage von Berechtigungsstufen erreicht werden. So können z. B. nur Benutzer mit bestimmten Berechtigungen Dokumente abrufen, deren Vertraulichkeitsstufe über einem bestimmten Schwellenwert liegt, wodurch die Datensicherheit und die Einhaltung von Vorschriften gewährleistet werden.
• Zeitliche Metadaten ： Effektive Verwaltung von Dokumentversionen Zeitliche Metadaten helfen Benutzern, zwischen alten und neuen Versionen von Dokumenten zu unterscheiden. Nachdem ein Dokument aktualisiert und neu hochgeladen wurde, können die Benutzer durch zeitliche Filterung schnell die neueste Version abrufen. In Kombination mit den Informationen über den Uploader erleichtern die zeitlichen Metadaten den Benutzern außerdem den Vergleich und die Analyse verschiedener historischer Versionen desselben Dokuments, um die Konsistenz der Dokumentenverarbeitung zu gewährleisten.

Insgesamt ist die in Dify v1.1.0 eingeführte Metadaten-Filterfunktion eine wichtige Erweiterung der bestehenden Wissensdatenbank-Managementlösung. Sie verbessert nicht nur die Effizienz und Genauigkeit des Informationsabrufs, sondern bietet auch eine stärkere Unterstützung bei der Datensicherheit und Zugriffskontrolle. Dify v1.1.0 ist ein bemerkenswertes Update für Unternehmen und Entwickler, die intelligente RAG-Anwendungen erstellen wollen. Um mehr über die Details zu erfahren, empfehlen wir einen Blick in die offizielle Dify Knowledge Base, um den Komfort und die Effizienz der Metadatenfilterung selbst zu erleben.

Referenzdokument ： https://docs.dify.ai/zh-hans/guides/knowledge-base