Dify v0.15.0 : Nouvelle stratégie de recherche parent-enfant - Recherche de connaissances plus précise et plus complète

Aujourd'hui, nous avons le plaisir de vous présenter Dify La version v0.15.0 apporte une nouvelle fonctionnalité "Parent-Child Retrieval". Il s'agit d'une technique avancée mise en œuvre dans le système Retrieval Augmented Generation (RAG), qui vise à améliorer l'acquisition d'informations et la compréhension du contexte.Grâce à cette capacité, Dify est en mesure de fournir des informations plus complètes et contextualisées pour la génération d'IA, ce qui améliore considérablement la qualité et la précision des réponses aux demandes de LLM.

Le dilemme du contexte et de la précision

Lorsqu'ils utilisent un système de recherche de bases de connaissances, les utilisateurs sont souvent confrontés à un dilemme délicat : les résultats de la recherche sont soit trop fragmentés, ce qui fait que les gestionnaires de bases de connaissances ne disposent pas d'un contexte suffisant pour comprendre l'information, soit trop vastes, ce qui entraîne une surcharge d'informations et sacrifie la précision. Il est donc difficile pour les gestionnaires de l'apprentissage tout au long de la vie de trouver et d'utiliser efficacement les informations dont ils ont besoin.

Dans ce contexte, la bonne taille des morceaux est essentielle pour que les applications d'IA génèrent des réponses précises et complètes. Par conséquent, Dify propose une nouvelle fonction de recherche parent-enfant qui établit un équilibre idéal entre la précision et le contexte, améliorant ainsi de manière significative les performances globales et la fiabilité du processus de recherche de connaissances.

Recherche parent-enfant : équilibre entre précision et contexte

La recherche parent-enfant est réalisée à l'aide d'une structure à deux niveaux, sous la forme de données pour la catégorie RAG Le système offre une méthode de recherche plus souple et plus efficace, permettant à la fois des correspondances précises et des informations contextuelles complètes. Les mécanismes de base sont les suivants

1. Requête de correspondance entre sous-blocs

• Le découpage des documents en unités d'information plus petites et plus ciblées (par exemple, une phrase) est plus précis lorsqu'il s'agit de répondre aux requêtes des utilisateurs.
• Les sous-blocs peuvent rapidement fournir les résultats préliminaires les plus pertinents pour les besoins de l'utilisateur.

2. les blocs parents fournissent un contexte

• Les parties plus importantes contenant des sous-blocs correspondants (par exemple, des paragraphes, des sections, voire des documents entiers) sont traitées comme des blocs parents et mises à la disposition du modèle linguistique étendu (LLM).
• Le bloc parent fournit des informations contextuelles complètes au mécanisme d'apprentissage tout au long de la vie et évite d'omettre des détails importants.

Cette approche hiérarchique de la recherche garantit la précision des résultats de la recherche tout en préservant le contexte. Dans le cas de l'assistance à la clientèle, par exemple, la recherche parent-enfant peut fournir des réponses plus détaillées et globalement contextualisées en faisant référence à la documentation détaillée du produit, améliorant ainsi la précision et la richesse des informations du modèle linguistique en termes de génération de contenu.

Recherche générique VS recherche parent-enfant

Comme le montre la figure ci-dessous, pour un même document, les informations contextuelles fournies par l'utilisation de la recherche parent-enfant seront plus complètes et pourront maintenir un niveau élevé de précision, ce qui est nettement supérieur à la recherche générique traditionnelle à une seule couche.

Comment utiliser la recherche parent-enfant

1. Source des données :Sélectionnez une source de données et importez des documents pour la recherche de connaissances.
2. découpage

• Sélectionnez une stratégie de découpage générique ou de découpage parent-enfant et définissez des paramètres tels que la taille des morceaux, puis obtenez un aperçu des résultats du découpage.
• Si le découpage parent-enfant est sélectionné, deux modes sont disponibles :
  • Mode paragraphe : divise le texte en paragraphes en fonction des séparateurs et de la longueur maximale des morceaux, et traite ces paragraphes comme des morceaux parents. Ce mode est idéal pour les documents comportant des paragraphes clairs et relativement indépendants.
  • Mode "document entier" : le document entier est considéré comme un bloc parent. Ce mode convient aux scénarios qui nécessitent une recherche contextuelle complète.

Quel que soit le mode, le bloc enfant sera subdivisé à partir du bloc parent. Après avoir défini la méthode d'indexation et les paramètres d'extraction, l'utilisateur peut modifier le bloc parent ou le bloc enfant. L'édition du bloc parent peut se faire avec l'option de régénérer ou non le bloc enfant, tandis que l'édition du bloc enfant n'affecte pas le contenu du bloc parent, mais peut être utilisée comme balise personnalisée pour une meilleure récupération du bloc parent correspondant. Pour plus de détails, veuillez consulter 📖 fichier d'aide.

Autres points forts de la mise à jour : affichage plus intuitif des blocs parent-enfant

En tant que plateforme à code bas, Dify s'efforce de faciliter la compréhension et l'utilisation de la fonction de recherche parent-enfant pour les utilisateurs n'ayant pas de connaissances techniques. Dans cette mise à jour, nous avons apporté les améliorations suivantes à la prévisualisation par morceaux :

• Structure des blocs plus claire :Chaque bloc parent est représenté comme un module séparé, les blocs enfants étant marqués sur un fond gris et étiquetés avec le numéro du bloc.
• Informations pratiques au passage de la souris :Lorsque la souris survole un sous-bloc, celui-ci est surligné en bleu et affiche des informations sur le nombre de mots.

• Récupérer l'aperçu du test :Le bloc parent est affiché sur le côté gauche de la fenêtre de prévisualisation, et tous les blocs enfants correspondants sont surlignés en bleu avec leurs scores correspondants, ce qui permet à l'utilisateur de les voir d'un seul coup d'œil.

Avec cette mise à jour, la fonction de recherche parent-enfant de Dify apporte des résultats de recherche plus précis et plus complets aux applications LLM, améliorant considérablement l'efficacité et la précision de l'acquisition d'informations, aidant les entreprises et les développeurs à réaliser une gestion des connaissances et une création de valeur plus efficaces dans des flux de travail intelligents.