Diffbot GraphRAG LLM: 외부 실시간 지식 그래프 데이터에 기반한 LLM 추론 서비스

11.4K 00

일반 소개

Diffbot LLM 추론 서버는 LLama 모델 아키텍처를 기반으로 특별한 최적화와 개선이 이루어진 혁신적인 대규모 언어 모델링 시스템입니다. 이 프로젝트의 가장 중요한 특징은 다음과 같은 통합입니다.실시간 지식 그래프(지식 그래프) 대향상된 세대 검색(RAG) 기술을 결합하여 고유한 GraphRAG 시스템을 만들었습니다. 이 시스템은 웹 정보를 실시간으로 추출하고 처리할 뿐만 아니라 정확한 사실 인용과 지식 검색을 수행합니다. 이 시스템은 두 가지 버전의 모델을 제공합니다: Llama 3.1 기반의 8B 파라미터 모델(diffbot-small)과 Llama 3.3 기반의 70B 파라미터 모델(diffbot-small-xl). MMLU-Pro와 같은 권위 있는 벤치마크에서 이 시스템은 특히 실시간 데이터 처리에서 뛰어난 성능을 보여 GPT-4 및 ChatGPT를 포함한 주류 모델을 능가하는 성능을 보였습니다. 이 프로젝트는 완전한 오픈 소스이며 로컬 배포 및 클라우드 API 호출을 지원하여 개발자에게 유연한 사용성을 제공합니다.

Diffbot GraphRAG LLM：依赖外部实时知识图谱数据的LLM推理服务

체험: https://diffy.chat/

기능 목록

실시간 웹 페이지 URL 콘텐츠 추출 및 요약
지식 그래프 기반의 정확한 사실 검색 및 인용
Diffbot 지식 그래프 쿼리 언어(DQL) 지원
이미지 이해력 및 설명 능력
JavaScript 인터프리터 코드 산술 함수 통합
ASCII 아트 일기 예보 생성
Docker 컨테이너형 배포 지원
REST API 인터페이스 서비스 제공
사용자 지정 도구 확장 지원
다양한 하드웨어 구성 배포 옵션 지원

도움말 사용

1. 배포 옵션

이 시스템은 로컬 배포와 클라우드 API 호출이라는 두 가지 사용 방법을 제공합니다.

로컬 배포 프로세스:

하드웨어 요구 사항이 확인되었습니다:
- diffbot-소형 모델: 최소 Nvidia A100 40G 그래픽 카드 필요
- diffbot-small-xl 모델: 최소 2개의 Nvidia H100 80G 그래픽 카드 필요(FP8 형식)
Docker 배포 단계:

# 1. 拉取Docker镜像
docker pull docker.io/diffbot/diffbot-llm-inference:latest
# 2. 运行Docker容器（模型会自动从HuggingFace下载）
docker run --runtime nvidia --gpus all -p 8001:8001 --ipc=host \
-e VLLM_OPTIONS="--model diffbot/Llama-3.1-Diffbot-Small-2412 --served-model-name diffbot-small --enable-prefix-caching" \
docker.io/diffbot/diffbot-llm-inference:latest

클라우드 API 호출:

액세스 자격 증명을 받습니다:
- https://app.diffbot.com/get-started 에서 등록하고 무료 개발자 토큰을 받으세요!
Python 코드 예제:

from openai import OpenAI
client = OpenAI(
base_url = "https://llm.diffbot.com/rag/v1",
api_key  = "你的diffbot_token"
)
# 创建对话请求
completion = client.chat.completions.create(
model="diffbot-xl-small",
temperature=0,
messages=[
{
"role": "user",
"content": "你的问题"
}
]
)
print(completion)

2. 핵심 기능 사용에 대한 설명

웹 페이지 콘텐츠 추출:
- 시스템은 모든 웹 URL을 실시간으로 처리할 수 있습니다.
- 주요 정보 자동 추출 및 요약 생성
- 원본 출처 인용의 무결성 유지
지식 그래프 쿼리:
- Diffbot 쿼리 언어(DQL)를 사용한 정밀 검색
- 복잡한 지식 관계 쿼리 지원
- 실시간 업데이트를 통한 지식창고 액세스
이미지 처리 기능:
- 이미지 이해 및 설명 지원
- 텍스트와 결합하여 관련 이미지 분석을 생성할 수 있습니다.
코드 해석 기능:
- 내장 자바스크립트 인터프리터
- 실시간 수학 계산 지원
- 간단한 프로그램 로직 처리 가능