RAG : Retrieval Augmentation

RAG (Retrieve Augmented Generation) est une technique d'optimisation des résultats des grands modèles linguistiques (LLM) basée sur des informations provenant de bases de connaissances faisant autorité. Cette technique améliore la qualité des résultats et garantit leur pertinence, leur exactitude et leur utilité dans divers contextes en étendant la fonctionnalité des LLM pour qu'ils se réfèrent à la base de connaissances interne d'un domaine ou d'une organisation particulière lorsqu'ils génèrent des réponses.

Optimisation des grands modèles linguistiques (LLM)

Les grands modèles linguistiques (LLM) sont généralement formés sur des ensembles de données à grande échelle comportant des milliards de paramètres afin de générer des résultats bruts pour des tâches telles que la réponse à des questions, la traduction de langues et l'achèvement de phrases. Cependant, le fait que les données d'entraînement des LLM soient statiques et qu'il y ait une date limite pour la mise à jour de leurs connaissances fait que les modèles peuvent fournir des informations incorrectes en cas de manque de réponses ou donner des réponses obsolètes ou ambiguës lorsqu'ils répondent à une requête qui nécessite l'accès à des informations spécifiques et actualisées. En outre, il est également possible que les réponses des MLD proviennent de sources ne faisant pas autorité ou produisent des réponses incorrectes en raison d'une confusion terminologique, c'est-à-dire que le même terme peut se référer à un contenu différent dans des sources de données différentes.

La solution du RAG

Le RAG aborde le problème susmentionné en demandant aux LLM d'extraire des informations pertinentes à partir de sources de connaissances prédéfinies faisant autorité. Le modèle de base est généralement formé hors ligne et n'a accès à aucune donnée générée après la fin de la formation.Les LLM sont généralement formés sur des corpus de domaines très généraux et sont donc moins efficaces pour traiter des tâches spécifiques à un domaine.Le modèle RAG est capable de récupérer des informations à partir de données autres que celles du modèle de base et d'augmenter les indices en ajoutant les données pertinentes récupérées au contexte.

Pour plus d'informations sur l'architecture du modèle RAG, voirGénération améliorée par la recherche de tâches NLP à forte intensité de connaissances..

Avantages de la Génération Augmentée de Récupération (GAR)

En utilisant RAG, il est possible d'obtenir des données provenant d'une série de sources de données externes (par exemple, des dépôts de documents, des bases de données ou des API) afin d'augmenter les indices. Le processus commence par la transformation des documents et des requêtes des utilisateurs dans un format compatible avec la recherche de pertinence. Dans ce contexte, la compatibilité de format signifie que nous devons utiliser un modèle de langage d'intégration pour transformer la collection de documents (qui peut être considérée comme une base de connaissances) et la requête soumise par l'utilisateur en une représentation numérique à des fins de comparaison et de recherche.La tâche principale du modèle RAG est de comparer l'intégration de la requête de l'utilisateur avec les vecteurs de la base de connaissances.

Les invites améliorées sont ensuite envoyées au modèle de base, où les invites originales de l'utilisateur sont combinées avec le contexte pertinent de documents similaires dans la base de connaissances. Vous pouvez également mettre à jour de manière asynchrone la base de connaissances et les représentations intégrées qui lui sont associées afin d'améliorer encore l'efficacité et la précision du modèle RAG.

Défis pour le RAG

Bien que le RAG permette d'optimiser les grands modèles de langage afin de relever les défis de la recherche d'informations et de la réponse aux questions dans la pratique, il reste confronté à un certain nombre de problèmes et de défis.

1. exactitude et fiabilité des sources de données

Dans les modèles de génération d'augmentation de la recherche, la précision et la mise à jour de la source de données sont essentielles. Si la source de données contient des informations incorrectes, obsolètes ou non validées, les réponses générées par le RAG risquent d'être incorrectes ou de mauvaise qualité. Par conséquent, garantir la qualité des sources de données est un défi qui doit être relevé et résolu en permanence.

2. efficacité de la recherche

Bien que le RAG puisse être exécuté efficacement sur de grands ensembles de données, il peut être confronté à des problèmes d'efficacité lorsque la base de connaissances devient importante ou que la requête devient complexe. Étant donné que la recherche d'informations pertinentes dans une grande quantité de données est une tâche à forte intensité de temps et de calcul, l'optimisation de l'efficacité de l'algorithme de recherche est également un défi pour la RAG.

3. la capacité de généralisation

Les modèles RAG peuvent être particulièrement sensibles à des données et des requêtes spécifiques, et certains problèmes peuvent sembler plus difficiles à résoudre en adoptant des stratégies judicieuses et efficaces, ce qui nécessite souvent des modèles dotés d'une bonne capacité de généralisation. Les questions et les défis qui doivent être abordés lors de la formation des modèles pour traiter une variété de requêtes et de sources de données sont assez complexes.

4. le traitement hétérogène des données

Dans la pratique, les données ne se présentent pas toujours sous la forme de documents, mais peuvent également exister sous d'autres formes telles que des images, des sons et des vidéos. C'est aussi un grand défi que de faire en sorte que RAG gère ces formes de données pour la recherche et les références croisées entre un plus grand nombre de sources de connaissances.

Pour relever les défis susmentionnés, il faut trouver un équilibre entre la puissance du RAG et ses problèmes potentiels, de sorte que ses performances puissent être garanties dans une variété d'applications réelles.

Pour plus de détails, voir l'exemple de carnet de notes suivant :

Référence importante : https://docs.aws.amazon.com/pdfs/sagemaker/latest/dg/sagemaker-dg.pdf#jumpstart-foundation-models-customize-rag

Génération améliorée par la recherche : questions et réponses basées sur des ensembles de données personnalisés

Retrieval Enhancement Generation : a Q&A for Custom Datasets Based on Open Source LangChain Library (Génération d'amélioration de la recherche : une question-réponse pour les ensembles de données personnalisées basée sur la bibliothèque Open Source LangChain)