UltraRAG: Eine RAG-Systemlösung aus einer Hand zur Vereinfachung der Datenerstellung und Modellfeinabstimmung

Allgemeine Einführung

UltraRAG ist eine RAG-Systemlösung (Retrieval Augmented Generation), die gemeinsam von der THUNLP-Gruppe an der Tsinghua University, der NEUIR-Gruppe an der Northeastern University, Modelbest.Inc und dem 9#AISoft-Team entwickelt wurde. Das Framework basiert auf agilem Einsatz und modularem Aufbau und bietet ein automatisiertes System zur Datenerstellung, Modellfeinabstimmung und Inferenzauswertungstechniken. UltraRAG vereinfacht den gesamten Prozess von der Datenerstellung bis zur Modellfeinabstimmung erheblich und hilft Forschern und Entwicklern, komplexe Aufgaben auf höchst effektive Weise zu bewältigen. Seine codefreie Programmier-WebUI unterstützt die Benutzer bei der einfachen Bedienung der gesamten Kette von Einstellungs- und Optimierungsprozessen, einschließlich der multimodalen RAG-Lösung VisRAG.

Funktionsliste

• Codefreie Programmierung WebUI-UnterstützungBenutzer können den gesamten Link-Setup- und Optimierungsprozess ohne Programmierkenntnisse durchführen.
• Lösungen für Compositing und Feinabstimmung mit einem KlickBasierend auf proprietären Methoden wie KBAlign und RAG-DDR unterstützt das System die systematische Datenerstellung und -abfrage per Mausklick sowie die Leistungsoptimierung durch verschiedene Strategien zur Modellfeinabstimmung.
• Mehrdimensionale, mehrstufige robuste BewertungDie RAGEval-Kernmethodik, kombiniert mit einem mehrstufigen Bewertungsansatz, erhöht die Robustheit der "Modellbewertung" erheblich.
• Forschung Freundlich erforschen ArbeitsintegrationTHUNLP-RAG: Beinhaltet die firmeneigene Methodik der THUNLP-RAG-Gruppe und andere hochmoderne RAG-Methoden zur Unterstützung der laufenden Erkundung und Entwicklung auf Modulebene.
• Schneller EinsatzUnterstützt die schnelle Bereitstellung über Docker und Conda, so dass die Benutzer schnell loslegen können.

Hilfe verwenden

Umweltabhängigkeit

• CUDA Version 12.2 oder höher ist erforderlich.
• Die Python-Version muss 3.10 oder höher sein.

Schneller Einsatz

Bereitstellung über Docker

1. Führen Sie den folgenden Befehl aus:

   docker-compose up --build -d

2. Zugang über den Browserhttp://localhost:8843.

Bereitstellung über Conda

1. Erstellen Sie die Conda-Umgebung:

   conda create -n ultrarag python=3.10

2. Aktivieren Sie die Conda-Umgebung:

   conda aktivieren ultrarag

3. Installieren Sie die relevanten Abhängigkeiten:

   pip install -r anforderungen.txt

4. Führen Sie das folgende Skript aus, um das Modell herunterzuladen (Standard-Download anRessourcen/Modelle(Katalog):

   python skripte/download_models.py

5. Führen Sie die Demoseite aus:

   streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

Hauptfunktionen

Codefreie Programmierung WebUI

1. Besuchen Sie die WebUI-Seite und wählen Sie die gewünschte RAG-Lösung (z. B. VisRAG).
2. Einrichtung für die Datenerstellung, die Feinabstimmung des Modells und die Bewertung der Schlussfolgerungen auf der Grundlage von Aufforderungen.
3. Wenn Sie auf die Schaltfläche "Synthese und Feinabstimmung mit einem Klick" klicken, schließt das System die Datenkonstruktion und die Feinabstimmung des Modells automatisch ab.

Mehrdimensionale, mehrstufige robuste Bewertung

1. Wählen Sie die RAGEval-Bewertungsmethode in der WebUI aus.
2. Stellen Sie die Bewertungsparameter ein und klicken Sie auf die Schaltfläche "Bewertung starten".
3. Das System führt automatisch eine mehrstufige Bewertung durch und erstellt einen Bewertungsbericht.

Forschung Freundlich erforschen Arbeitsintegration

1. Wählen Sie die gewünschte RAG-Methode in der WebUI aus (z.B. THUNLP-RAG).
2. Folgen Sie den Aufforderungen zur Erkundung und Entwicklung auf Modulebene.
3. Klicken Sie auf die Schaltfläche "Erkundung starten" und das System wird automatisch erkunden und entwickeln.