UltraRAG : un système RAG à guichet unique pour simplifier la construction des données et la mise au point des modèles

Introduction générale

UltraRAG est un système RAG (Retrieval Augmented Generation) proposé conjointement par le groupe THUNLP de l'Université de Tsinghua, le groupe NEUIR de l'Université de Northeastern, Modelbest.Inc et l'équipe 9#AISoft. Basé sur un déploiement agile et une construction modulaire, le cadre fournit un système automatisé de construction de données, de mise au point de modèles et de techniques d'évaluation de l'inférence. UltraRAG simplifie considérablement l'ensemble du processus, de la construction de données à la mise au point de modèles, aidant ainsi les chercheurs et les développeurs à répondre efficacement à des tâches complexes. Son interface Web de programmation sans code permet aux utilisateurs d'exploiter facilement la chaîne complète des processus de configuration et d'optimisation, y compris la solution RAG multimodale VisRAG.

Liste des fonctions

• Programmation sans code Support WebUILes utilisateurs peuvent utiliser l'ensemble du processus de configuration et d'optimisation des liens sans avoir d'expérience en matière de programmation.
• Solutions de composition et d'ajustement en un clicLe système est basé sur des méthodes propriétaires telles que KBAlign et RAG-DDR. Il permet de construire et d'extraire des données systématiques en un seul clic et d'optimiser les performances grâce à diverses stratégies de mise au point des modèles.
• Évaluation robuste multidimensionnelle et en plusieurs étapesLa méthodologie de base de RAGEval, combinée à une approche d'évaluation en plusieurs étapes, améliore considérablement la robustesse de l'"évaluation du modèle".
• Recherche et exploration de l'intégration professionnelleLe programme d'exploration et de développement en cours au niveau des modules comprend la méthodologie exclusive du groupe THUNLP-RAG et d'autres méthodes RAG d'avant-garde.
• Déploiement rapideLa solution de déploiement rapide via Docker et Conda permet aux utilisateurs de commencer rapidement à travailler.

Utiliser l'aide

la dépendance environnementale

• La version 12.2 ou supérieure de CUDA est requise.
• La version de Python doit être 3.10 ou supérieure.

Déploiement rapide

Déploiement via Docker

1. Exécutez la commande suivante :

   docker-compose up --build -d

2. Accès dans le navigateurhttp://localhost:8843.

Déploiement via Conda

1. Créez l'environnement Conda :

   conda create -n ultrarag python=3.10

2. Activez l'environnement Conda :

   conda activate ultrarag

3. Installez les dépendances nécessaires :

   pip install -r requirements.txt

4. Exécutez le script suivant pour télécharger le modèle (téléchargement par défaut versresources/models(Catalogue) :

   python scripts/download_models.py

5. Exécutez la page de démonstration :

   streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

Principales fonctions

Programmation sans code WebUI

1. Visitez la page WebUI et sélectionnez la solution RAG souhaitée (par exemple VisRAG).
2. Configuration pour la construction de données, l'affinement du modèle et l'évaluation de l'inférence sur la base de messages-guides.
3. En cliquant sur le bouton "Synthèse et mise au point en un clic", le système achèvera automatiquement la construction des données et la mise au point du modèle.

Évaluation robuste multidimensionnelle et en plusieurs étapes

1. Sélectionnez la méthode d'évaluation RAGEval dans l'interface WebUI.
2. Définissez les paramètres d'évaluation et cliquez sur le bouton "Démarrer l'évaluation".
3. Le système effectue automatiquement une évaluation en plusieurs étapes et génère un rapport d'évaluation.

Recherche et exploration de l'intégration professionnelle

1. Sélectionnez la méthode RAG souhaitée dans l'interface WebUI (par exemple THUNLP-RAG).
2. Suivre les invites pour l'exploration et le développement au niveau du module.
3. Cliquez sur le bouton "Commencer à explorer" et le système explorera et développera automatiquement.