5 jours pour apprendre le planificateur d'itinéraires de RAG

RAG être Récupération Abréviation de Retrieval Augmented Generation. Décortiquons cette terminologie pour mieux comprendre ce qu'est RAG :

R -> Récupérer

A -> Amélioration

G -> Générer

Fondamentalement, les grands modèles linguistiques (LLM) que nous utilisons actuellement ne sont pas mis à jour en temps réel. Si je pose une question à un LLM (par exemple ChatGPT), il peut halluciner et donner une mauvaise réponse. Pour remédier à ce problème, nous formons le LLM avec davantage de données (des données qui ne sont accessibles qu'à un sous-ensemble de personnes, et non des données qui sont publiquement disponibles à l'échelle mondiale). Si nous n'utilisons pas le RAG, les choses suivantes peuvent se produire :

• Probabilité accrue d'hallucinations
• Obsolescence du LLM
• Réduction de l'exactitude et de la véracité des faits

Vous pouvez vous référer au tableau mentionné ci-dessous :

RAG est un système hybride qui combine les avantages d'un système basé sur la recherche et de la LLM pour générer des décisions plus précises, plus pertinentes et plus informatives. Cette approche utilise des sources de connaissances externes dans le processus de génération, améliorant ainsi la capacité du modèle à fournir des informations actualisées et contextualisées. Dans le diagramme ci-dessus :

• Dans un premier temps, l'utilisateur adresse une requête au LLM.
• La demande est ensuite envoyée au
• après cela
• Les documents récupérés sont envoyés au modèle linguistique (LLM) avec la requête originale.
• Le générateur traite à la fois la requête et le document associé, génère une réponse et la renvoie à l'utilisateur.

Maintenant, je sais que vous êtes totalement intéressé par l'apprentissage du système RAG, de la base à l'avancé, alors laissez-moi vous montrer la feuille de route parfaite pour apprendre le système RAG en seulement 5 jours. Oui, vous avez bien entendu, vous pouvez maîtriser le système RAG en seulement 5 jours. Passons directement à la feuille de route de l'apprentissage :

Jour 1 : Poser les bases du GCR

L'objectif principal de la première journée est de comprendre le système RAG dans son ensemble et d'en explorer les principaux éléments. Vous trouverez ci-dessous une répartition des sujets abordés au cours de la première journée :

Vue d'ensemble du RAG.

• Reconnaître la fonction et l'importance du RAG et sa place dans la PNL moderne.
• L'idée principale est que la génération augmentée par la recherche (RAG) améliore l'efficacité du modèle généré en introduisant des informations externes.

Composants clés.

• Apprendre la récupération et la génération séparément.
• Comprendre l'architecture de la recherche (par exemple, Dense Paragraph Retrieval (DPR), BM25) et de la génération (par exemple, GPT, BART, T5).

Jour 2 : Construire son propre système de recherche

L'objectif principal de la deuxième journée est de mettre en œuvre avec succès un système de recherche (même s'il s'agit d'un système de base). Vous trouverez ci-dessous une ventilation des sujets abordés au cours de la deuxième journée :

Un examen approfondi des modèles de recherche.

• Apprenez à faire la différence entre les recherches denses et les recherches éparses :
• Recherche intensive : DPR, ColBERT.
• Recherche éparse. BM25TF-IDF.
• Examinez les avantages et les inconvénients de chaque méthode.

Réalisation de l'extraction.

• Utilisez des bibliothèques telles que elasticsearch (pour les recherches éparses) ou faiss (pour les recherches denses) pour les tâches de recherche de base.
• Comprendre comment extraire des documents pertinents de la base de connaissances avec le tutoriel DPR de Hugging Face.

Base de données de connaissances.

• Comprendre la structure de la base de connaissances.
• Apprenez à préparer les données pour les tâches d'extraction telles que le prétraitement des corpus et l'indexation des documents.

Jour 3 : Affiner le modèle génératif et observer les résultats

L'objectif de la troisième journée était d'affiner le modèle de génération et d'observer les résultats afin de comprendre le rôle de la recherche dans l'amélioration de la génération. Vous trouverez ci-dessous une répartition des sujets abordés au cours de la troisième journée :

Un examen approfondi de la modélisation générative.

• Examiner les modèles formés tels que T5, GPT-2 et BART.
• Apprendre à affiner le processus de génération de tâches (par exemple, des quiz ou des résumés).

Pratique de la génération de modèles.

• Application du produit Hugging Face Transformateur en optimisant le modèle sur un petit ensemble de données.
• Le test utilise un modèle génératif pour générer des réponses aux questions.

Exploration de l'interaction entre la recherche et la génération.

• Étudier la manière dont le modèle génératif introduit les données extraites.
• Reconnaître comment la recherche peut améliorer la précision et la qualité des réponses générées.

Jour 4 : Mise en œuvre d'un système RAG opérationnel

Nous nous rapprochons à présent de notre objectif. L'objectif principal d'aujourd'hui était de mettre en œuvre un système RAG fonctionnel sur un ensemble de données simple et de nous familiariser avec les paramètres de réglage. Voici un aperçu des sujets abordés au cours de la quatrième journée :

Recherche et génération combinées :

• Intégration des composants générés et récupérés dans un système unique.
• Permet l'interaction entre la récupération des résultats et la génération de modèles.

Pipeline RAG utilisant LlamaIndex :

• Apprenez les caractéristiques du pipeline RAG grâce à la documentation officielle ou à des tutoriels.
• Mettre en place et exécuter un exemple utilisant le modèle RAG de LlamaIndex.

Expérimentation pratique :

• Commencez à expérimenter différents paramètres, tels que le nombre de documents récupérés, la stratégie de recherche des liasses générées et l'échelonnement de la température.
• Essayez d'exécuter le modèle sur des tâches simples à forte intensité de connaissances.

Jour 5 : Construire et affiner un système RAG plus robuste

L'objectif de la dernière journée était de créer un modèle RAG plus robuste en l'affinant et en comprenant les différents types de modèles RAG. Vous trouverez ci-dessous une ventilation des sujets abordés au cours de la cinquième journée :

• Réglage fin avancé : Étudier comment optimiser les composants de génération et de recherche pour des tâches spécifiques à un domaine.
• Extension : Faites évoluer votre système RAG avec des ensembles de données plus importants et des bases de connaissances plus sophistiquées.
• Optimisation des performances : Apprenez à maximiser l'utilisation de la mémoire et la vitesse de récupération (par exemple en utilisant faiss sur le GPU).
• Évaluation : Apprenez à évaluer les modèles RAG dans les tâches à forte intensité de connaissances, en utilisant diverses mesures telles que BLEU, ROUGE, etc. pour mesurer la résolution des problèmes.