SimGRAG : Génération d'amélioration de la recherche basée sur les graphes de connaissances à l'aide de sous-graphes similaires

Introduction générale

SimGRAG (SimGRAG : Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation) est une approche basée sur les graphes de connaissances (RAG). Le projet vise à améliorer les performances des graphes de connaissances dans des tâches telles que les questions-réponses et la vérification des faits en utilisant des sous-graphes similaires. Le projet vise à améliorer les performances des graphes de connaissances dans des tâches telles que les questions-réponses et la vérification des faits en utilisant des sous-graphes similaires. SimGRAG permet une utilisation plug-and-play, en combinant de grands modèles de langage, des modèles d'intégration et des bases de données vectorielles pour fournir des capacités efficaces de recherche et de génération de similitudes. Le projet s'appuie sur des solutions open source telles que Ollama, les modèles d'intégration Nomic et les bases de données vectorielles Milvus, et les utilisateurs peuvent remplacer ces composants selon leurs besoins.

Liste des fonctions

• Génération de grands modèles linguistiquesLe modèle Llama 3 70B a été utilisé pour la tâche de génération.
• Intégration des nœuds et des relationsLes données de la base de données de l'UE sur l'intégration des nœuds et des relations à l'aide du modèle d'intégration de la base de données Nomic.
• base de données vectoriellesLes résultats de la recherche de similitudes sont efficaces grâce à l'utilisation de Milvus pour stocker les liens entre les nœuds et les relations.
• Préparation des donnéesLe système de gestion des données de MetaQA et de FactKG permet de télécharger et de préparer des ensembles de données de MetaQA et de FactKG.
• fichier de configurationLes profils sont modifiables pour répondre à des besoins différents.
• Exploitation des pipelinesFournir des scripts pour exécuter les pipelines, soutenir l'indexation et les requêtes MetaQA et FactKG.

Utiliser l'aide

Processus d'installation

1. Installation d'Ollama: :
   • Visitez le site officiel d'Ollama et suivez les instructions pour installer Ollama.
   • Une fois l'installation terminée, exécutez la commande suivante pour démarrer le modèle Llama 3 70B :

    ollama run llama3:70b
   

   • Démarrer les services requis par SimGRAG :

    bash ollama_server.sh
   

2. Installation des modèles embarqués Nomic: :
   • Clonage des modèles d'intégration nomique :

    mkdir -p data/raw
   cd data/raw
   git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1
   

3. Installation de Milvus: :
   • Visitez le site web de Milvus et suivez la documentation pour installer Milvus.
   • Une fois l'installation terminée, démarrez le service Milvus.

Préparation des données

• Ensemble de données MetaQA: :
  • Téléchargez l'ensemble de données MetaQA et placez-le dans le fichierdata/rawdossier.
• Ensemble de données FactKG: :
  • Téléchargez l'ensemble de données FactKG et placez-le dans le fichierdata/rawdossier.

Tuyaux d'écoulement

1. MetaQA: :
   • Exécutez les commandes suivantes pour l'indexation et l'interrogation :

    cd pipeline
   python metaQA_index.py
   python metaQA_query1hop.py
   python metaQA_query2hop.py
   python metaQA_query3hop.py
   

2. FactKG: :
   • Exécutez les commandes suivantes pour l'indexation et l'interrogation : bash
cd pipeline
python factKG_index.py
python factKG_query.py


fichier de configuration

• Le fichier de configuration est situé dans le répertoireconfigsl'utilisateur peut modifier le profil pour l'adapter à différentes tâches et à différents ensembles de données.

Vue des résultats

• Les résultats de la requête seront enregistrés dans le fichier de sortie spécifié dans le fichier de configuration, par exempleresults/FactKG_query.txt. Le résultat de chaque ligne est un dictionnaire avec la clécorrectIndique l'exactitude de la réponse finale.

Avec les étapes ci-dessus, les utilisateurs peuvent rapidement commencer la tâche de génération de l'amélioration de la recherche basée sur les graphes de connaissances à l'aide de SimGRAG.