MiniRAG: Marco de Generación Mejorada de Recuperación Simplificada, Índice de Grafos de Entidades Recupera Bloques de Texto Relevantes

Introducción general

MiniRAG es un marco de Generación Aumentada de Recuperación (RAG) extremadamente sencillo que pretende lograr un buen rendimiento de la RAG incluso para modelos pequeños mediante la indexación de grafos heterogéneos y la recuperación mejorada por topología ligera. Desarrollado por el Laboratorio de Ciencia de Datos de la Universidad de Hong Kong (HKUDS), el proyecto se centra en resolver el problema de degradación del rendimiento al que se enfrentan los modelos lingüísticos pequeños (SLM) en los marcos RAG existentes. miniRAG reduce la dependencia de la comprensión semántica compleja combinando trozos de texto y entidades con nombre en una única estructura unificada, y explota las estructuras de grafos para un descubrimiento eficiente del conocimiento. El marco logra un rendimiento comparable con sólo 251 TP3T de espacio de almacenamiento del enfoque de modelo lingüístico amplio (LLM).

Lista de funciones

• Mecanismo de indexación de grafos heterogéneos: combinación de bloques de texto y entidades con nombre para reducir la dependencia de la comprensión semántica compleja.
• Lightweight topology-enhanced retrieval: efficient knowledge discovery using graph structures.
• Compatible con modelos lingüísticos pequeños: proporciona un rendimiento eficaz de la GAR en escenarios con recursos limitados.
• Completo conjunto de datos de referencia: se proporciona el conjunto de datos LiHua-World para evaluar el rendimiento de los sistemas RAG ligeros en consultas complejas.
• Fácil instalación: admite la instalación desde el código fuente y PyPI.

Utilizar la ayuda

Proceso de instalación

Instalación desde la fuente (recomendada)

1. Clonación del repositorio MiniRAG:

   git clone https://github.com/HKUDS/MiniRAG.git
cd MiniRAG

2. Instale la dependencia:

   pip install -e .

Instalación desde PyPI

MiniRAG se basa en LightRAG y, por tanto, puede instalarse directamente:

pip install lightrag-hku

Inicio rápido

1. Descargue el conjunto de datos necesario y colóquelo en la carpeta./datasetcatálogo. Por ejemplo, el conjunto de datos LiHua-World se ha colocado en el./dataset/LiHua-World/data/Catálogo.
2. Utilice el siguiente comando para indexar el conjunto de datos:

   python ./reproduce/Step_0_index.py

3. Ejecute el módulo de preguntas y respuestas:

   python ./reproduce/Step_1_QA.py

4. Como alternativa, utilice la función./main.pyEl código en inicializa el MiniRAG.

Funciones principales

Mecanismo de indexación de grafos heterogéneos

MiniRAG crea índices de grafos heterogéneos combinando bloques de texto y entidades con nombre en una estructura unificada. Los usuarios pueden conseguirlo siguiendo los pasos que se indican a continuación:

1. Prepare el conjunto de datos y asegúrese de que tiene el formato requerido.
2. Ejecute el script de indexación:

   python ./reproduce/Step_0_index.py

3. Una vez finalizada la indexación, los datos se almacenarán en el directorio especificado para su posterior recuperación.

Búsqueda mejorada de topología ligera

MiniRAG utiliza estructuras de grafos para el descubrimiento eficaz de conocimientos, que el usuario puede recuperar en los siguientes pasos:

1. Inicialice el MiniRAG:

   from minirag import MiniRAG
model = MiniRAG()

2. Cargar el conjunto de datos y recuperarlo:

   results = model.retrieve("你的查询")

3. Procesa los resultados de la búsqueda y genera una respuesta:

   response = model.generate(results)

Con los pasos anteriores, los usuarios pueden aprovechar al máximo las funciones de MiniRAG para generar mejoras de búsqueda eficientes.