SimGRAG: generación de mejoras de la recuperación basada en grafos de conocimiento mediante subgrafos similares

Introducción general

SimGRAG (SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation) es un enfoque basado en la generación mejorada y la recuperación basada en grafos de conocimiento. El objetivo del proyecto es mejorar el rendimiento de los grafos de conocimiento en tareas como las preguntas y respuestas y la verificación de hechos mediante la utilización de subgrafos similares. SimGRAG admite el uso plug-and-play, combinando grandes modelos lingüísticos, modelos de incrustación y bases de datos vectoriales para proporcionar capacidades eficientes de búsqueda y generación de similitudes. El proyecto se basa en soluciones de código abierto como Ollama, los modelos de incrustación Nomic y las bases de datos vectoriales Milvus, y los usuarios pueden sustituir estos componentes según sus necesidades.

Lista de funciones

• Generación de grandes modelos lingüísticos: Tarea de generación utilizando el modelo Llama 3 70B.
• Incrustación de nodos y relacionesIncrustación de nodos y relaciones mediante el modelo de incrustación Nomic.
• base de datos vectorialSoporte para la búsqueda eficiente de similitudes utilizando Milvus para almacenar incrustaciones de nodos y relaciones.
• Preparación de datosPermite descargar y preparar conjuntos de datos MetaQA y FactKG.
• archivo de configuración: Proporciona perfiles modificables para adaptarse a diferentes necesidades.
• Explotación de oleoductosProporcionar secuencias de comandos para ejecutar canalizaciones, apoyar la indexación y las consultas de MetaQA y FactKG.

Utilizar la ayuda

Proceso de instalación

1. Instalación de Ollama::
   • Visita la página oficial de Ollama y sigue las instrucciones para instalar Ollama.
   • Una vez finalizada la instalación, ejecute el siguiente comando para iniciar el modelo Llama 3 70B:

    ollama run llama3:70b
   

   • Inicie los servicios requeridos por SimGRAG:

    bash ollama_server.sh
   

2. Instalación de los modelos Nomic Embedded::
   • Clonación de modelos de incrustación nómica:

    mkdir -p data/raw
   cd data/raw
   git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1
   

3. Instalación de Milvus::
   • Visite el sitio web de Milvus y siga la documentación para instalar Milvus.
   • Una vez finalizada la instalación, inicie el servicio Milvus.

Preparación de datos

• Conjunto de datos MetaQA::
  • Descargue el conjunto de datos MetaQA y colóquelo en la carpetadata/rawcarpeta.
• Conjunto de datos FactKG::
  • Descargue el conjunto de datos FactKG y colóquelo en la carpetadata/rawcarpeta.

Tuberías en funcionamiento

1. MetaQA::
   • Ejecute los siguientes comandos para indexar y consultar:

    cd pipeline
   python metaQA_index.py
   python metaQA_query1hop.py
   python metaQA_query2hop.py
   python metaQA_query3hop.py
   

2. FactKG::
   • Ejecute los siguientes comandos para indexar y consultar: bash
cd pipeline
python factKG_index.py
python factKG_query.py


archivo de configuración

• El archivo de configuración se encuentra en el directorioconfigsel usuario puede modificar el perfil para adaptarlo a diferentes tareas y conjuntos de datos, según sus necesidades.

Resultados

• Los resultados de la consulta se guardarán en el archivo de salida especificado en el archivo de configuración, por ejemploresults/FactKG_query.txt. El resultado de cada línea es un diccionario con la clavecorrectIndica si la respuesta final es correcta.

Con los pasos anteriores, los usuarios pueden empezar rápidamente con la tarea de generación de mejoras de recuperación basada en grafos de conocimiento utilizando SimGRAG.