Dify v0.15.0: Neue Eltern-Kind-Suchstrategie - Präzisere und umfassendere Wissensabfrage

Wir freuen uns, Ihnen heute Folgendes vorstellen zu können Dify Die Version v0.15.0 bringt eine neue Funktion "Parent-Child Retrieval". Dabei handelt es sich um eine fortschrittliche Technik, die im System Retrieval Augmented Generation (RAG) implementiert ist und darauf abzielt, die Informationsgewinnung und das kontextuelle Verständnis weiter zu verbessern.Mit dieser Fähigkeit ist Dify in der Lage, umfassendere und kontextbezogene Informationen für die KI-Generierung bereitzustellen und so die Qualität und Genauigkeit der Antworten auf LLM-Anträge erheblich zu verbessern.

Das Dilemma von Kontext und Präzision

Bei der Verwendung eines Systems zur Abfrage von Wissensdatenbanken stehen die Nutzer oft vor einem Dilemma: Die Suchergebnisse sind entweder zu fragmentiert, so dass LLMs nicht genügend Kontext haben, um die Informationen zu verstehen, oder zu breit gefächert, was zu einer Informationsüberlastung führt und die Präzision beeinträchtigt. Dies erschwert es den LLMs, die von ihnen benötigten Informationen effizient zu finden und zu nutzen.

In diesem Zusammenhang ist die richtige Chunk-Größe für KI-Anwendungen entscheidend, um genaue und umfassende Antworten zu generieren. Daher bietet Dify eine neue Eltern-Kind-Suchfunktion, die ein ideales Gleichgewicht zwischen Genauigkeit und Kontext herstellt und die Gesamtleistung und Zuverlässigkeit des Wissensabrufs erheblich verbessert.

Eltern-Kind-Suche: Gleichgewicht zwischen Präzision und Kontext

Die Eltern-Kind-Suche erfolgt über eine zweistufige Struktur in Form von Daten für die RAG Das System bietet eine flexiblere und effektivere Art der Suche, die sowohl einen genauen Abgleich als auch umfassende kontextbezogene Informationen ermöglicht. Zu den grundlegenden Mechanismen gehören:

1. Subblock-Matching-Abfrage

• Die Aufteilung von Dokumenten in kleinere, fokussierte Informationseinheiten (z. B. einen Satz) ist beim Abgleich von Benutzeranfragen genauer.
• Unterblöcke können schnell erste Ergebnisse liefern, die für die Bedürfnisse des Benutzers am relevantesten sind.

2. übergeordnete Blöcke liefern Kontext

• Größere Teile, die passende Unterblöcke enthalten (z. B. Absätze, Abschnitte oder sogar ganze Dokumente), werden als übergeordnete Blöcke behandelt und dem Larger Language Model (LLM) zur Verfügung gestellt.
• Der übergeordnete Block liefert dem LLM vollständige Kontextinformationen und verhindert, dass wichtige Details fehlen.

Dieser hierarchische Abfrageansatz gewährleistet die Genauigkeit der Abfrageergebnisse bei gleichzeitiger Wahrung des Kontexts. Im Falle des Kundensupports beispielsweise kann die Eltern-Kind-Abfrage detailliertere und global kontextualisierte Antworten liefern, indem sie auf detaillierte Produktdokumentation verweist und so die Genauigkeit und den Informationsreichtum des Sprachmodells im Hinblick auf die Inhaltsgenerierung verbessert.

Allgemeine Suche VS Eltern-Kind-Suche

Wie in der Abbildung unten dargestellt, sind die Kontextinformationen, die durch die Verwendung der Eltern-Kind-Suche bereitgestellt werden, umfassender und können ein hohes Maß an Genauigkeit beibehalten, was der traditionellen einschichtigen generischen Suche weit überlegen ist.

Wie man die Eltern-Kind-Suche verwendet

1. Datenquelle:Wählen Sie eine Datenquelle aus und importieren Sie Dokumente für den Wissensabruf.
2. chunking

• Wählen Sie eine generische Chunking- oder Parent-Child-Chunking-Strategie und legen Sie Parameter wie die Chunk-Größe fest, gefolgt von einer Vorschau der Chunking-Ergebnisse.
• Wenn die Eltern-Kind-Verknüpfung ausgewählt ist, sind zwei Modi verfügbar:
  • Absatzmodus: Teilt den Text auf der Grundlage von Trennzeichen und der maximalen Länge der Abschnitte in Absätze auf und behandelt diese Absätze als übergeordnete Abschnitte. Ideal für Dokumente mit klaren und relativ unabhängigen Absätzen.
  • Modus "Ganzes Dokument": das gesamte Dokument als übergeordneter Block, geeignet für Szenarien, die eine vollständige kontextbezogene Suche erfordern.

Unabhängig vom Modus wird der untergeordnete Block weiter vom übergeordneten Block unterteilt. Nach Abschluss der Indizierungsmethode und der Sucheinstellungen kann der Benutzer entweder den übergeordneten Block oder den untergeordneten Block bearbeiten. Die Bearbeitung des übergeordneten Blocks kann mit der Option erfolgen, den untergeordneten Block neu zu generieren oder nicht, während die Bearbeitung des untergeordneten Blocks sich nicht auf den Inhalt des übergeordneten Blocks auswirkt, sondern als benutzerdefinierte Markierung zum besseren Auffinden des entsprechenden übergeordneten Blocks verwendet werden kann. Für weitere Einzelheiten siehe 📖 Hilfedatei.

Weitere Highlights des Updates: Intuitivere Anzeige von Eltern-Kind-Blöcken

Als Low-Code-Plattform ist Dify bestrebt, es auch Nutzern ohne technischen Hintergrund leicht zu machen, die Eltern-Kind-Suchfunktion zu verstehen und zu nutzen. In diesem Update haben wir die folgenden Verbesserungen an der Chunked-Vorschau vorgenommen:

• Klarere Blockstruktur:Jeder übergeordnete Block wird als separates Modul dargestellt, die untergeordneten Blöcke sind grau hinterlegt und mit der Blocknummer versehen.
• Praktische Mauszeiger-Informationen:Wenn Sie mit der Maus über einen Teilblock fahren, wird dieser Teilblock blau hervorgehoben und die Wortzahl angezeigt.

• Testvorschau abrufen:Der übergeordnete Block wird auf der linken Seite des Vorschaufensters angezeigt, und alle übereinstimmenden untergeordneten Blöcke werden mit ihren entsprechenden Punktzahlen blau hervorgehoben, so dass der Benutzer sie auf einen Blick erkennen kann.

Mit diesem Update bringt die Parent-Child-Suchfunktion von Dify präzisere und umfassendere Suchergebnisse in LLM-Anwendungen, was die Effizienz und Genauigkeit der Informationsbeschaffung erheblich verbessert und Unternehmen und Entwicklern hilft, effizienteres Wissensmanagement und Wertschöpfung in intelligenten Workflows zu erreichen.