Récupération : Qu'est-ce que la récupération et expliquez les techniques de "récupération" couramment utilisées dans RAG ?

concept de base

Dans le domaine des technologies de l'information.Récupération signifie qu'à partir d'un grand ensemble de données (généralement un document, une page web, une image, un son, une vidéo ou toute autre forme d'information), sur la base d'une requête ou d'un besoin de l'utilisateur, l'applicationLe processus de localisation et d'extraction efficace d'informations pertinentes. Son objectif principal est de trouverLes informations les plus pertinentes pour les besoins des utilisateurset le présenter à l'utilisateur.

• Demande de renseignements: Terme ou condition de recherche saisi par l'utilisateur.
• IndexStructure de données qui pré-traite les données afin d'améliorer l'efficacité de la recherche.
• PertinenceLe degré de concordance entre les résultats obtenus et la requête.

Les systèmes RAG basés sur la construction de grandes bases de connaissances modélisées n'utilisent souvent pas une seule technique d'"extraction", par exemple la technique couramment utilisée : l'extraction hybride éparse + dense. La sélection de la technique d'extraction doit être soigneusement adaptée au contenu à extraire, ce qui nécessite beaucoup de débogage.

Le modèle de récupération classique

Les modèles de recherche sont principalement classés comme suit : modèles booléens, modèles d'espace vectoriel, modèles probabilistes, modèles de réseaux neuronaux, modèles de graphes (par exemple, Knowledge Graph) et modèles linguistiques (par exemple, GPT3).

Les principaux modèles de recherche peuvent être "simplement" divisés en deux catégories, la différence essentielle étant la façon dont ils comprennent et font correspondre le texte :

1) Correspondance basée sur le lexique ou les mots-clés.

Ce type de modèle se concentre sur les requêtes et les documents enDes mots littéralement assortissans avoir une compréhension plus profonde du sens des mots.

• Idée maîtresse. Compter les occurrences de mots dans les documents et les requêtes et les faire correspondre.

• Principaux modèles.

  • Modèle booléen. Il suffit d'établir une correspondance en fonction de la présence ou de l'absence du mot-clé (AND, OR, NOT).

  • Modèle d'espace vectoriel (VSM). Les documents et les requêtes sont représentés sous forme de vecteurs de poids de mots, qui sont mis en correspondance par similarité vectorielle (par exemple, similarité cosinus). Une méthode de pondération courante est le TF-IDF.

  • BM25. Un modèle amélioré basé sur des statistiques probabilistes qui prend en compte des facteurs tels que la longueur des documents est la pierre angulaire de nombreux moteurs de recherche.

Pour. Simple, efficace et facile à mettre en œuvre.
Inconvénients. Incapacité à comprendre les relations sémantiques des mots et susceptibilité à des problèmes tels que les synonymes et la polysémie.

2) Correspondance basée sur la sémantique et la signification.

Les modèles d'intégration basés sur la sémantique, en plus de prendre en charge différentes longueurs et dimensions de texte intégré, ont également différentes façons de comprendre les "phrases", ce qui est une priorité dans la sélection des modèles d'intégration (bien que la plupart d'entre eux utilisent des modèles plus généraux).

Par exemple, le mot "pomme" est sémantiquement préféré à "fruit" par certains modèles et à "téléphone portable" par d'autres.

Ces modèles tentent de comprendre les requêtes et les documents.informations sémantiques approfondieset pas seulement une correspondance superficielle des mots.

• Idée maîtresse. Cartographie du texte dans l'espace sémantique et mise en correspondance par similarité sémantique.

• Principaux modèles.

  • Modèles de sujets. L'exploration de documents à la recherche de sujets potentiels, récupérés par similarité des sujets (par exemple LDA).

  • Intégrer des modèles. La mise en correspondance de mots, de phrases ou de documents dans un espace vectoriel dense de faible dimension permet de capturer des informations sémantiques.

    • Emboîtements de mots. Word2Vec, GloVe, FastText en sont des exemples.

    • Emboîtements de phrases. Par exemple, Phrase-BERT. Universel Encodeur de phrases. Embeddings OpenAI.

  • Modèles de recherche denses. Les requêtes et les documents sont encodés dans des vecteurs denses à haute dimension à l'aide de modèles d'apprentissage profond (généralement Transformer) et récupérés par similarité vectorielle. Parmi les exemples, citons DPR, Contriever et l'application Embeddings OpenAI Le système de recherche construit.

  • Modèles d'interaction neuronale. Modélisation plus fine des interactions entre les requêtes et les documents, par exemple ColBERT, RocketQA.

  • Modèles de réseaux neuronaux graphiques. Les documents et les requêtes sont construits sous forme de graphes et récupérés à l'aide de la structure du graphe.

Pour. La capacité à mieux comprendre le sens d'un texte, à traiter les corrélations sémantiques et à trouver des informations pertinentes avec plus de précision.
Inconvénients. Généralement plus complexes et plus coûteux en termes de calcul.

Différence essentielle :

• Les modèles de correspondance lexicale ont l'air "littéraux".en se concentrant sur les occurrences de mots-clés.

• Les modèles d'appariement sémantique s'intéressent au "sens"L'objectif est de mettre en évidence les significations et les relations intrinsèques du texte.

Tableau récapitulatif :

Applications dans le RAG

RAG (Récupération-Génération augmentée)est un cadre d'IA qui combine des techniques de recherche et de génération dont l'utilisation principale est d'améliorer la précision et la pertinence contextuelle du contenu généré.

• étape de récupérationLes services d'aide à la décision : Identifier les documents ou les passages d'une grande base de connaissances qui sont pertinents par rapport à l'entrée de l'utilisateur.
• phase de générationLes informations extraites sont utilisées comme contexte pour générer des réponses ou du contenu.

Dans RAG, le modèle de recherche est chargé de fournir des sources d'information de haute qualité, tandis que le modèle génératif est chargé de générer des réponses en langage naturel sur la base de ces informations. Comme RAG peut obtenir des informations actualisées à partir de sources de connaissances externes, il est particulièrement performant pour répondre aux questions à forte intensité de connaissances.

L'accent est mis sur l'application dans le RAG :

Dans RAG (Retrieval Augmentation Generation).Les modèles de correspondance sémantique sont souvent préférésEn effet, ils peuvent récupérer avec plus de précision les informations contextuelles relatives à la requête de l'utilisateur, aidant ainsi le modèle génératif à produire des réponses plus précises et plus cohérentes. En particulier.Modèles d'intégration de phrases et modèles d'extraction densesPar exemple, sur la base de Embeddings OpenAI qui est largement utilisé dans les systèmes RAG en raison de son excellente capacité de représentation sémantique et de son efficacité en matière de recherche.

cas (droit)

1. application de la recherche lexicale (Lexical Retrieval)

• Idées maîtresses : Le système de recherche s'appuie fortement sur les requêtes et les documents en ligne.Correspondance littérale des mots-clés.

• Cas 1 : Trouver une commande spécifique dans une documentation technique

  • Scène : Vous utilisez un logiciel et souhaitez savoir comment effectuer une opération de copie de fichier et devez trouver la commande correspondante.

  • Mécanisme de recherche : Le système RAG utilise un modèle basé sur le vocabulaire (par exemple BM25) pour rechercher dans la documentation d'aide du logiciel les passages contenant les mots-clés "copy file", "file copy command" ou "copy file".

  • Exemple de résultats de recherche : Le système peut trouver une section du document intitulée "Commandes de gestion de fichiers" qui contient la section "Utilisation de l'interface utilisateur". cp Voici une description de la commande "Commande de copie de fichier".

  • Comment aider à générer : Les instructions spécifiques pour les commandes de confinement récupérées sont fournies au modèle de génération, qui peut générer des étapes d'action plus précises, par exemple : "Vous pouvez utiliser le cp pour copier un fichier. Par exemple.cp source.txt destination.txt copiera le fichier source.txt vers le fichier destination.txt".

  • Points clés : La recherche s'appuie sur la correspondance exacte des mots-clés. Si vous utilisez une expression différente, telle que "déplacement de copies de documents", vous n'obtiendrez pas les mêmes résultats.

• Cas 2 : Recherche d'un modèle spécifique dans un catalogue

  • Scène : Vous souhaitez acheter un modèle spécifique d'imprimante, par exemple "Modèle XYZ-123".

  • Mécanisme de recherche : Le système RAG recherche dans la base de données du catalogue les entrées contenant le nom exact du modèle "XYZ-123".

  • Exemple de résultats de recherche : Le système trouvera des entrées de produits contenant le nom, les spécifications détaillées, le prix et d'autres informations sur "Imprimante XYZ-123".

  • Comment aider à générer : Les informations extraites sur le produit peuvent être utilisées directement pour générer des présentations, des demandes de prix ou des liens d'achat, etc. concernant le modèle d'imprimante.

  • Points clés : La recherche repose sur la correspondance exacte des modèles de produits. Si l'utilisateur saisit une description vague, telle que "imprimante haute performance", une recherche basée sur des termes risque de ne pas fonctionner correctement.

2. les applications de recherche sémantique

• Idées maîtresses : Le système de recherche comprend la requête et le document.informations sémantiques approfondiesVous pouvez ainsi trouver du contenu pertinent même si vous n'avez pas exactement les mêmes mots-clés.

• Cas 3 : Recherche d'informations sur les symptômes d'une maladie dans la littérature médicale

  • Scène : Vous voulez savoir "Quels sont les désagréments courants causés par l'hypertension artérielle ?".

  • Mécanisme de recherche : Le système RAG utilise un modèle sémantique (par exemple, une recherche dense basée sur Sentence-BERT ou OpenAI Embeddings) pour vectoriser la requête et la littérature médicale, puis trouve le passage le plus proche du vecteur de la requête dans l'espace sémantique. Même si les documents ne contiennent pas exactement la même formulation, par exemple en utilisant "tension artérielle élevée" au lieu de "hypertension" ou des descriptions de symptômes spécifiques au lieu de "malaise", ils peuvent toujours être retrouvés. être recherchés.

  • Exemple de résultats de recherche : Le système peut trouver des passages contenant le texte suivant : "Les personnes souffrant d'hypertension artérielle présentent souvent des symptômes tels que des maux de tête, des vertiges et une oppression thoracique. Une hypertension artérielle prolongée et non contrôlée peut entraîner des palpitations et des difficultés respiratoires."

  • Comment aider à générer : Les descriptions extraites des symptômes de l'hypertension sont fournies au modèle génératif, qui peut produire une réponse plus naturelle et plus complète : "L'hypertension peut provoquer un large éventail de désagréments, notamment des maux de tête, des vertiges et une oppression thoracique. Une hypertension sévère ou prolongée peut également provoquer des palpitations cardiaques et des difficultés respiratoires."

  • Points clés : Être capable de comprendre les synonymes ("tension artérielle élevée" vs. "tension artérielle élevée"), les expressions proches ("malaise physique" vs. "maux de tête, vertiges ") et les concepts connexes qui fournissent un contexte plus riche.

• Cas 4 : Trouver des styles de texte similaires dans l'aide à la création littéraire

  • Scène : Vous travaillez sur un roman de science-fiction et souhaitez trouver des passages dans un style littéraire similaire pour vous en inspirer. Vous tapez : "Décrivez une vision florissante d'une ville future remplie d'immeubles imposants et d'une circulation dense".

  • Mécanisme de recherche : Le système RAG utilise un modèle sémantique pour rechercher dans une vaste bibliothèque de textes de science-fiction les passages qui sont sémantiquement les plus proches de votre description, même s'ils n'utilisent pas exactement des mots-clés tels que "ville du futur" ou "boom".

  • Exemple de résultats de recherche : Le système peut trouver des passages tels que : "Des mastodontes d'acier transpercent les nuages et des murs de verre reflètent une lumière colorée. Des voitures volantes circulaient comme des navettes entre les bâtiments, des foules s'agitaient au sol et le bourdonnement de l'énergie emplissait la ville qui ne dort jamais."

  • Comment aider à générer : Les passages retrouvés présentant des ambiances et des descriptions similaires peuvent servir de référence au modèle génératif et l'aider à créer un texte plus conforme au style souhaité.

  • Points clés : La capacité à comprendre le sens implicite, la coloration émotionnelle et le style du texte va au-delà de la simple correspondance de mots-clés et se concentre davantage sur les similitudes sémantiques.