SimGRAG: генерация улучшений поиска на основе графиков знаний с использованием похожих подграфов

Общее введение

SimGRAG (SimGRAG: Leveraging Similar Subgraphs for Knowledge Graphs Driven Retrieval-Augmented Generation) - это подход, основанный на использовании графиков знаний для поиска и дополнения (RAG). Проект направлен на повышение производительности графов знаний в таких задачах, как вопросы и ответы и проверка фактов, за счет использования схожих подграфов. SimGRAG поддерживает использование по принципу plug-and-play, объединяя большие языковые модели, модели встраивания и векторные базы данных для обеспечения эффективного поиска и генерации сходств. Проект опирается на решения с открытым исходным кодом, такие как Ollama, модели встраивания Nomic и векторные базы данных Milvus, и пользователи могут заменять эти компоненты по мере необходимости.

Список функций

• Генерация больших языковых моделей: Задание на генерацию с использованием модели Llama 3 70B.
• Встраивание узлов и отношений: Встраивание узлов и отношений с помощью модели встраивания Nomic.
• векторная база данных: Поддержка эффективного поиска по сходству с использованием Milvus для хранения вкраплений узлов и отношений.
• Подготовка данных: Поддерживает загрузку и подготовку наборов данных MetaQA и FactKG.
• файл конфигурации: Предоставьте модифицируемые профили для удовлетворения различных потребностей.
• Эксплуатация трубопроводов: Предоставление скриптов для запуска конвейеров, поддержка индексации и запросов MetaQA и FactKG.

Использование помощи

Процесс установки

1. Установка Ollama::
   • Посетите официальный сайт Ollama и следуйте инструкциям по установке Ollama.
   • После завершения установки выполните следующую команду, чтобы запустить модель Llama 3 70B:

    ollama run llama3:70b
   

   • Запустите службы, необходимые SimGRAG:

    bash ollama_server.sh
   

2. Установка встраиваемых моделей Nomic::
   • Клонирование моделей номических вкраплений:

    mkdir -p data/raw
   cd data/raw
   git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1
   

3. Установка Milvus::
   • Посетите веб-сайт Milvus и следуйте документации для установки Milvus.
   • После завершения установки запустите службу Milvus.

Подготовка данных

• Набор данных MetaQA::
  • Загрузите набор данных MetaQA и поместите его в папкуdata/rawпапка.
• Набор данных FactKG::
  • Загрузите набор данных FactKG и поместите его в папкуdata/rawпапка.

Текущие трубы

1. MetaQA::
   • Выполните следующие команды для индексирования и запроса:

    cd pipeline
   python metaQA_index.py
   python metaQA_query1hop.py
   python metaQA_query2hop.py
   python metaQA_query3hop.py
   

2. ФактКГ::
   • Выполните следующие команды для индексирования и запроса: bash
cd pipeline
python factKG_index.py
python factKG_query.py


файл конфигурации

• Файл конфигурации находится в папкеconfigsпапку, пользователь может изменять профиль под различные задачи и наборы данных по мере необходимости.

Просмотр результатов

• Результаты запроса будут сохранены в выходном файле, указанном в файле конфигурации, напримерresults/FactKG_query.txt. Результатом каждой строки является словарь с ключомcorrectУказывает на правильность окончательного ответа.

Выполнив описанные выше действия, пользователи могут быстро приступить к решению задачи по созданию улучшений поиска на основе графа знаний с помощью SimGRAG.