AI Engineering College : 2,8 RAG mixte (identique à 2,9)

Récupérateur basé sur la fenêtre de phrase RAG les méthodologies

introductif

La méthode RAG (Retrieval-Augmented Generation) basée sur des fenêtres de phrases pour les récupérateurs est une implémentation de haut niveau du cadre RAG conçu pour améliorer la prise en compte du contexte et la cohérence des réponses générées par l'IA. L'approche combine les avantages des modèles de langage à grande échelle avec des techniques efficaces de recherche d'informations afin de fournir une solution puissante pour générer des réponses de haute qualité, riches en contexte.

https://github.com/adithya-s-k/AI-Engineering.academy/tree/main/RAG/03_Hybrid_RAG

locomotive

Les systèmes conventionnels de RAG ont souvent du mal à maintenir la cohérence dans un large éventail de contextes ou éprouvent des difficultés à traiter les informations qui s'étendent sur plusieurs blocs de texte. Les approches de récupération basées sur les fenêtres de phrases remédient à cette limitation en préservant les relations contextuelles entre les blocs de texte au cours du processus d'indexation et en utilisant ces informations au cours de la récupération et de la génération.

Détails méthodologiques

Prétraitement des documents et création d'un index vectoriel

1. Fractionnement de documents: Découper le document d'entrée en phrases.
2. Création de blocs de texteLes phrases sont regroupées en morceaux de texte faciles à gérer.
3. intégrationChaque bloc de texte est traité par un modèle d'intégration afin de générer une représentation vectorielle.
4. Index de la base de données vectorielle: stocke les identifiants des blocs de texte, le contenu du texte et les vecteurs d'intégration dans une base de données vectorielle pour une recherche efficace de similitudes.
5. Index de la structure du documentLes blocs de texte sont stockés individuellement, y compris les références entre chaque bloc et les k blocs qui le précèdent et qui le suivent.

Flux de travail pour l'amélioration de la recherche

1. traitement des requêtesLes blocs de texte : intégration des requêtes de l'utilisateur à l'aide du même modèle d'intégration que celui utilisé pour les blocs de texte.
2. Recherche de similitudeLes résultats de l'analyse des données sont présentés dans le tableau suivant : utiliser l'intégration des requêtes pour trouver les parties de texte les plus pertinentes dans une base de données vectorielle.
3. extension du contexte (informatique)Pour chaque bloc de texte extrait, le système obtient les k blocs de texte voisins qui le précèdent et le suivent à partir de la base de données de la structure du document.
4. contextualisationLa recherche de texte : Combiner le bloc de texte récupéré et son contexte élargi avec la requête originale.
5. générantLes modèles linguistiques : transmettre des contextes d'extension et des requêtes à des modèles linguistiques de grande envergure pour générer des réponses.

organigramme

L'organigramme suivant illustre la méthode Retriever RAG basée sur la fenêtre de phrase :

Principales caractéristiques du RAG

• Recherche efficaceLe projet de recherche d'information rapide et précise à l'aide de la recherche de similarités vectorielles.
• sensible au contexteLes documents sont indexés de manière à préserver la relation entre la structure du document et les blocs de texte au cours du processus d'indexation.
• Fenêtre contextuelle flexibleLa fenêtre contextuelle peut être redimensionnée de manière dynamique lors de la recherche d'informations.
• évolutivitéIl peut traiter de grandes collections de documents et divers types de requêtes.

Avantages de cette méthode

1. Améliorer la cohérenceLes réponses sont plus cohérentes et plus adaptées au contexte en incluant des blocs de texte voisins.
2. Réduction des hallucinationsRéduire la probabilité de générer un contenu incorrect ou non pertinent grâce aux informations contextuelles récupérées.
3. Stockage efficaceOptimiser l'espace de stockage en ne stockant que les informations nécessaires dans la base de données vectorielle.
4. Fenêtre contextuelle réglableLa fenêtre contextuelle : redimensionner dynamiquement la fenêtre contextuelle en fonction des différentes requêtes ou des exigences de l'application.
5. Conserver la structure du documentLa génération d'un document est plus compréhensible d'un point de vue sémantique, car elle préserve la structure et le flux d'informations d'origine du document.

rendre un verdict

L'approche RAG Retriever basée sur la fenêtre de phrase fournit une solution puissante pour améliorer la qualité et la pertinence contextuelle des réponses générées par l'IA. En préservant la structure du document et en prenant en charge des extensions contextuelles flexibles, l'approche répond aux principales limitations des systèmes RAG traditionnels et fournit un cadre fiable pour la construction de systèmes avancés de questions-réponses, d'analyse de documents et d'applications de génération de contenu.