UltraRAG: una solución integral del sistema RAG para simplificar la construcción de datos y el ajuste de modelos

Introducción general

UltraRAG es una solución de sistema RAG (Retrieval Augmented Generation) propuesta conjuntamente por el grupo THUNLP de la Universidad de Tsinghua, el grupo NEUIR de la Universidad Northeastern, Modelbest.Inc y el equipo 9#AISoft. Basado en un despliegue ágil y una construcción modular, el marco proporciona un sistema automatizado de construcción de datos, ajuste fino de modelos y técnicas de evaluación de inferencias.UltraRAG simplifica drásticamente todo el proceso, desde la construcción de datos hasta el ajuste fino de modelos, ayudando a investigadores y desarrolladores a responder eficientemente a tareas complejas. Su WebUI de programación sin código permite a los usuarios manejar fácilmente toda la cadena de procesos de configuración y optimización, incluida la solución multimodal RAG VisRAG.

Lista de funciones

• Programación sin código Compatibilidad con WebUILos usuarios pueden utilizar el proceso completo de configuración y optimización de enlaces sin experiencia en programación.
• Soluciones de composición y ajuste con un solo clicEl sistema, basado en métodos propios como KBAlign y RAG-DDR, permite construir y recuperar datos de forma sistemática con un solo clic, así como optimizar el rendimiento mediante diversas estrategias de ajuste de modelos.
• Evaluación robusta multidimensional y multietapaLa metodología básica de RAGEval, combinada con un enfoque de evaluación en varias etapas, mejora significativamente la solidez de la "evaluación del modelo".
• Investigar y explorar la integración laboralEl grupo THUNLP-RAG utiliza su propia metodología y otros métodos RAG de vanguardia para apoyar la exploración y el desarrollo continuos a nivel de módulo.
• Despliegue rápido: Admite el despliegue rápido a través de Docker y Conda, lo que facilita a los usuarios empezar a trabajar rápidamente.

Utilizar la ayuda

dependencia medioambiental

• Se necesita la versión 12.2 o superior de CUDA.
• La versión de Python debe ser 3.10 o superior.

Despliegue rápido

Despliegue mediante Docker

1. Ejecute el siguiente comando:

   docker-compose up --build -d

2. Acceso en el navegadorhttp://localhost:8843.

Despliegue a través de Conda

1. Crea el entorno Conda:

   conda create -n ultrarag python=3.10

2. Active el entorno Conda:

   conda activate ultrarag

3. Instale las dependencias pertinentes:

   pip install -r requirements.txt

4. Ejecute el siguiente script para descargar el modelo (descarga por defecto aresources/models(Catálogo):

   python scripts/download_models.py

5. Ejecute la página de demostración:

   streamlit run ultrarag/webui/webui.py --server.fileWatcherType none

Funciones principales

Programación sin código WebUI

1. Visite la página WebUI y seleccione la solución RAG deseada (por ejemplo, VisRAG).
2. Configuración para la construcción de datos, el ajuste de modelos y la evaluación de inferencias basadas en indicaciones.
3. Al hacer clic en el botón "Síntesis y ajuste con un solo clic", el sistema completará automáticamente la construcción de datos y el ajuste del modelo.

Evaluación robusta multidimensional y multietapa

1. Seleccione el método de evaluación RAGEval en la WebUI.
2. Establezca los parámetros de evaluación y pulse el botón "Iniciar evaluación".
3. El sistema realizará automáticamente una evaluación en varias fases y generará un informe de evaluación.

Investigar y explorar la integración laboral

1. Seleccione el método RAG deseado en la WebUI (por ejemplo, THUNLP-RAG).
2. Siga las indicaciones para la exploración y el desarrollo a nivel de módulo.
3. Haga clic en el botón "Empezar a explorar" y el sistema explorará y desarrollará automáticamente.