PRAG : Outil de génération d'augmentation de la recherche paramétrique pour l'amélioration des performances des systèmes de questions-réponses

Introduction générale

PRAG (Parametric Retrieval-Augmented Generation) est un outil innovant de génération augmentée par extraction conçu pour améliorer la génération en intégrant des connaissances externes directement dans l'espace des paramètres d'un grand modèle linguistique (LLM). L'outil surmonte les limites des méthodes traditionnelles d'extraction contextuelle et de génération augmentée, réduit les frais généraux de calcul et améliore les capacités de raisonnement et de synthèse du modèle en intégrant profondément les connaissances externes. PRAG fournit des implémentations de bout en bout comprenant un module d'enrichissement des données, un module d'apprentissage des paramètres et un module d'inférence pour les tests de performance de divers ensembles de données de quiz.

Liste des fonctions

• Module d'enrichissement des donnéesLes documents : convertir les documents en ensembles de données enrichies.
• Module de formation aux paramètresLes paramètres de la LoRA : former des paramètres supplémentaires de la LoRA pour générer une représentation paramétrée du document.
• module d'inférenceLes documents de référence : fusionner des représentations paramétrées de documents apparentés et les insérer dans le LLM pour l'inférence.
• Environnement InstallationLe site Web de la Commission européenne : Il détaille les étapes de l'installation de l'environnement et les dépendances.
• amélioration de soiLe logiciel permet d'utiliser directement des fichiers de données pré-améliorés ou des données améliorées par l'utilisateur lui-même.
• Préparation de la rechercheTélécharger et préparer les ensembles de données de Wikipédia pour la recherche.

Utiliser l'aide

Environnement Installation

1. Créer et activer un environnement virtuel :

   conda create -n prag python=3.10.4
conda activate prag

2. Installer les dépendances nécessaires :

   pip install torch==2.1.0
pip install -r requirements.txt

3. modifications src/root_dir_path.py a fait mouche ROOT_DIR est l'adresse du dossier dans lequel le PRAG est stocké.

Amélioration des données

1. Utiliser des fichiers de données pré-enrichis :

   tar -xzvf data_aug.tar.gz

2. Amélioration des données par auto-traitement :
   • Télécharger l'ensemble de données de Wikipédia : bash
mkdir -p data/dpr
wget -O data/dpr/psgs_w100.tsv.gz https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz

   • vouloir BM25 Récupéré : bash
# 具体步骤请参考项目文档


formation paramétrique

1. Générer une représentation paramétrée du document :

   # 具体步骤请参考项目文档

déduction

1. Les représentations paramétrées des documents connexes sont fusionnées et insérées dans le LLM pour l'inférence :

   # 具体步骤请参考项目文档