Быстрый GraphRAG: высокоточный и недорогой инструмент для создания расширений графического поиска

Общее введение

Fast GraphRAG - это инструмент с открытым исходным кодом, разработанный компанией Circlemind AI для обеспечения эффективного и точного расширения поиска (RAG) с помощью алгоритмов графа знаний и PageRank. Инструмент интеллектуально адаптируется к сценарию использования, данным и требованиям запроса пользователя, чтобы обеспечить интерпретируемый, недорогой и эффективный рабочий процесс поиска. Fast GraphRAG разработан для работы в масштабе без значительных ресурсов и затрат, поддерживает обновление данных в реальном времени и динамическую генерацию данных, что делает его подходящим для различных областей с потребностями управления знаниями и поиска информации.

Использование Fast-GraphRAG обходится всего в 0,48 по сравнению с оригиналом, что дает экономию почти в 6 раз! И эта экономическая эффективность еще больше возрастает по мере увеличения объема данных и количества вставок.

Список функций

• Интерпретируемые и отлаживаемые графы знаний: Обеспечение удобных для человека представлений знаний, которые можно запрашивать, визуализировать и обновлять.
• Высокая эффективность и низкая стоимость: Предназначен для крупномасштабной эксплуатации без значительных затрат ресурсов и средств.
• Динамическое генерирование данных: Автоматическое создание и оптимизация карт для наилучшего соответствия требованиям вашего домена и онтологии.
• инкрементное обновление: Поддерживает обновление в режиме реального времени, корректируется по мере изменения данных.
• Интеллектуальное исследование: Исследование графов с помощью алгоритма PageRank для повышения точности и надежности.
• Асинхронный режим и поддержка типов: Полностью асинхронный с полной поддержкой типов для обеспечения надежных и предсказуемых рабочих процессов.

Сравнение LightRAG, GraphRAG и VectorDBs

проконсультироваться (с документом и т.д.)

Вставка данных

В тесте запросов Fast GraphRAG достигает высокой точности 96% и 95% для всех запросов и многоходовых запросов, соответственно, по сравнению с VectorDB. RAG Почти в четыре раза больше.

Кроме того, Fast GraphRAG измерил время вставки для эталонного теста набора данных (около 800 блоков): время вставки для Fast GraphRAG составило около 1,5 минуты, что в 27 раз быстрее, чем GraphRAG, а точность поиска была улучшена более чем на 401 TP3T.

Использование помощи

Процесс установки

1. Установка из источника (рекомендуется для достижения наилучшей производительности)::

   # 克隆此仓库
git clone https://github.com/circlemind-ai/fast-graphrag
cd fast-graphrag
poetry install

2. Установка из PyPi (рекомендуется стабильность)::

   pip install fast-graphrag

Быстрый старт

1. Установите ключ API OpenAI:

   export OPENAI_API_KEY="sk-..."

2. Скачать текст рождественской песни:

   curl https://raw.githubusercontent.com/circlemind-ai/fast-graphrag/refs/heads/main/mock_data.txt > ./book.txt

3. Необязательно: Установите предел одновременных запросов:

   export CONCURRENT_TASK_LIMIT=8

4. Используйте следующий фрагмент кода Python:

   from fast_graphrag import GraphRAG
DOMAIN = "Analyze this story and identify the characters. Focus on how they interact with each other, the locations they explore, and their relationships."
EXAMPLE_QUERIES = [
"Who are the main characters?",
"What locations are mentioned?",
"How do the characters interact?"
]
grag = GraphRAG(
domain=DOMAIN,
example_queries=EXAMPLE_QUERIES,
config=GraphRAG.Config(
llm_service=OpenAILLMService(
model="your-llm-model",
base_url="llm.api.url.com",
api_key="your-api-key",
mode=instructor.Mode.JSON,
api_version="your-llm-api_version",
client="openai or azure"
),
embedding_service=OpenAIEmbeddingService(
model="your-embedding-model",
base_url="emb.api.url.com",
api_key="your-api-key",
embedding_dim=512,
api_version="your-llm-api_version",
client="openai or azure"
),
),
)

Основные функции

1. Генерация графа знаний: Определив домены и примеры запросов, GraphRAG автоматически сгенерирует граф знаний, адаптированный к вашим потребностям.
2. Запросы и визуализацииЗапросы с использованием сгенерированного графа знаний и просмотр результатов с помощью средств визуализации.
3. обновление в реальном времениПри изменении данных GraphRAG поддерживает обновление графа знаний в режиме реального времени, чтобы обеспечить актуальность и точность информации.
4. Интеллектуальное исследование: Используя алгоритм PageRank, GraphRAG способен интеллектуально исследовать граф знаний для повышения точности и надежности поиска.