Diffbot GraphRAG LLM: служба рассуждений LLM, опирающаяся на внешние данные графа знаний в режиме реального времени

Общее введение

Diffbot LLM Reasoning Server - это инновационная крупномасштабная система языкового моделирования со специальными оптимизациями и улучшениями на основе архитектуры модели LLama. Важнейшей особенностью проекта является интеграцияГрафик знаний в реальном времени(Knowledge Graph) против.Поиск Расширенный генерация(RAG) были объединены для создания уникальной системы GraphRAG. Она не только извлекает и обрабатывает веб-информацию в режиме реального времени, но и осуществляет точное цитирование фактов и поиск знаний. Система предоставляет две версии модели: модель с 8B параметрами на базе Llama 3.1 (diffbot-small) и модель с 70B параметрами на базе Llama 3.3 (diffbot-small-xl). В авторитетных бенчмарках, таких как MMLU-Pro, система демонстрирует отличную производительность, особенно при обработке данных в реальном времени, превосходя основные модели, включая GPT-4 и ChatGPT. Проект имеет полностью открытый исходный код и поддерживает локальное развертывание и облачные API-вызовы, обеспечивая разработчикам гибкость использования.

Опыт работы: https://diffy.chat/

Список функций

• Извлечение и обобщение содержимого URL-адресов веб-страниц в режиме реального времени
• Точный поиск и цитирование фактов на основе графа знаний
• Поддержка языка запросов Diffbot Knowledge Graph (DQL)
• Понимание изображений и умение составлять описания
• Интеграция арифметических функций кода интерпретатора JavaScript
• Создание прогноза погоды в формате ASCII Art
• Поддержка контейнерного развертывания Docker
• Предоставление услуг интерфейса REST API
• Поддержка пользовательских расширений инструментов
• Поддерживает несколько вариантов развертывания аппаратной конфигурации

Использование помощи

1. варианты развертывания

Система предоставляет два способа использования: локальное развертывание и вызов облачного API.

Процесс локального развертывания:

1. Требования к аппаратному обеспечению подтверждены:
   • Модель diffbot-small: требуется видеокарта минимум Nvidia A100 40G
   • Модель diffbot-small-xl: требуется минимум 2 видеокарты Nvidia H100 80G (формат FP8)
2. Этапы развертывания Docker:

# 1. 拉取Docker镜像
docker pull docker.io/diffbot/diffbot-llm-inference:latest
# 2. 运行Docker容器（模型会自动从HuggingFace下载）
docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host \
-e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching" \
docker.io/diffbot/diffbot-llm-inference:latest

Вызовы облачного API:

1. Получите учетные данные для доступа:
   • Посетите сайт https://app.diffbot.com/get-started, чтобы зарегистрироваться и получить бесплатный токен разработчика!
2. Пример кода на языке Python:

from openai import OpenAI
client = OpenAI(
base_url = "https://llm.diffbot.com/rag/v1",
api_key  = "你的diffbot_token"
)
# 创建对话请求
completion = client.chat.completions.create(
model="diffbot-xl-small",
temperature=0,
messages=[
{
"role": "user",
"content": "你的问题"
}
]
)
print(completion)

2. Описание использования основных функций

1. Извлечение содержимого веб-страниц:
   • Система может обрабатывать любой веб-адрес в режиме реального времени
   • Автоматическое извлечение ключевой информации и составление резюме
   • Сохранение целостности цитаты из первоисточника
2. Запросы к графу знаний:
   • Точный поиск с помощью языка запросов Diffbot (DQL)
   • Поддержка сложных запросов, связанных со знаниями
   • Доступ к базе знаний с обновлениями в режиме реального времени
3. Возможности обработки изображений:
   • Поддержка понимания и описания изображений
   • Можно комбинировать с текстом для создания соответствующих анализов изображений
4. Функция интерпретации кода:
   • Встроенный интерпретатор JavaScript
   • Поддержка математических расчетов в режиме реального времени
   • Возможна обработка простой программной логики

3. Пользовательские расширения инструментов

Чтобы расширить новую функциональность, обратитесь к документу add_tool_to_diffbot_llm_inference.md в проекте и выполните шаги по добавлению пользовательского инструмента.