OpenSPG: 오픈 소스 지식 그래프 엔진

2.5K 00

일반 소개

OpenSPG는 Ant Group이 OpenKG와 협력하여 개발한 오픈 소스 지식 그래프 엔진으로, SPG(Semantic Enhanced Programmable Graph) 프레임워크를 기반으로 합니다. 이 엔진은 명시적 의미 표현, 논리적 규칙 정의 및 운영 프레임워크와 같은 기능을 제공하여 도메인 지식 그래프의 구축 및 관리를 지원하도록 설계되었으며, OpenSPG는 LPG 구조의 단순성과 RDF 의미론의 복잡성을 결합하여 금융 등 다양한 비즈니스 시나리오에 적합합니다.

기능 목록

지식 모델링: 도메인 모델 제약 조건에 대한 지식 모델링 지원
시맨틱 표현: 명시적인 시맨틱 표현 및 논리 규칙 정의 제공
운영 프레임워크: 구축, 추론 및 기타 운영 프레임워크 지원
플러그인 적응: 기본 엔진 및 알고리즘 서비스의 플러그인 적응을 지원합니다.
데이터 시각화: 데이터 탐색 및 분석을 위한 직관적인 인터페이스 제공

도움말 사용

설치 프로세스

서버 설치

서버 측은 Docker Compose를 기반으로 배포되며 4개의 주요 이미지가 포함되어 있습니다:

openspg-server스키마 서비스 제공
openspg-mysql스키마 데이터 저장
tugraph매핑 데이터 저장
엘라스틱서치: 인덱싱된 매핑 데이터

다운로드 docker-compose.yml 파일을 열고 현재 디렉터리에서 다음 명령을 실행한 후 명령 실행이 완료될 때까지 기다리면 서버 시작이 완료됩니다:
```
docker-compose -f docker-compose.yml up -d
```
(공동) 실패(학생) openspg-server 로컬 시작 후 http://127.0.0.1:8887 포트를 열어 프런트엔드 시각화 페이지를 볼 수 있습니다. 만약 openspg-server 원격으로 배포된 경우 해당 IP 주소를 적절히 수정해야 합니다.

클라이언트 설치

클라이언트는 또한 Docker 이미지를 제공하며, 다음 명령을 직접 실행하면 해당 이미지를 가져옵니다:

docker pull --platform linux/x86_64 spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest

이미지를 다운로드한 후 OpenSPG 소스 코드를 복제할 수 있습니다:

git clone --depth=1 https://github.com/OpenSPG/openspg.git

소스 복제가 완료되면 소스와 함께 제공되는 케이스를 경험할 수 있습니다:

# 启动容器，将其中的${project_dir}替换成源码目录
docker run --rm --net=host -v ${project_dir}:/code \
  -it spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest \
  "/bin/bash"
  
# 容器启动后，进入/code目录，即openspg项目源码目录
cd /code

# 后续可以安装案例教程，比如进入riskmining目录
cd python/knext/knext/examples/riskmining

# 参考案例教程，执行相应的knext命令，比如
knext project create --prj_path .
knext schema commit

knext builder execute ...
knext reasoner execute ...

또는 IDE를 기반으로 로컬에서 매핑 프로젝트를 작성하려는 경우 다음 명령을 실행하여 knext를 설치할 수 있습니다:

pip install openspg-knext

세부 운영 절차

서버 측 시작

OpenSPG 소스 코드를 복제하고 IDE에서 엽니다:
```
git clone git@github.com:OpenSPG/openspg.git
```
다음 명령은 모두 openspg 코드 베이스의 루트 디렉터리에서 실행되는 것으로 가정합니다.

mvn 컴파일 명령을 실행합니다:

mvn clean install -Dmaven.test.skip=true -Dspotless.check.skip -Dspotless.apply.skip

MySQL, ElasticSearch, TuGraph 등과 같은 컨테이너를 로컬에서 시작하세요:
```
sh dev/test/docker-compose.sh
```

시작 서버 항목이 있습니다:

com.antgroup.openspg.server.arks.sofaboot.Application

클라이언트 시작

Python 가상 환경, 버전 3.8 이상을 준비합니다.

mvn으로 컴파일된 reasoner와 빌더 패키지를 knext 디렉터리에 복사합니다:

cp dev/release/python/lib/builder* python/knext/knext/builder/lib
cp dev/release/python/lib/reasoner* python/knext/knext/reasoner/lib

로컬에 nn4k를 설치합니다:
```
cd python/nn4k
python setup.py develop
```

knext의 로컬 설치:

cd python/knext
python setup.py develop

완료되면 해당 Python 가상 환경에서 knext 명령을 실행할 수 있습니다.

핵심 역량 모델

OpenSPG의 핵심 역량 모델에는 다음이 포함됩니다:

SPG-스키마 시맨틱 모델링주제 모델, 진화 모델, 술어 모델 등 속성 그래프의 의미적 향상을 위한 스키마 프레임워크의 설계를 담당합니다.
SPG-빌더 지식 빌딩정형 및 비정형 지식 가져오기를 모두 지원하고, 빅데이터 아키텍처와 호환되며, 데이터에서 지식으로 변환할 수 있는 지식 구성 연산자 프레임워크를 제공합니다. 지식 처리 SDK 프레임워크 추상화, 엔티티 체인 핑거, 개념 라벨링 및 엔티티 정규화 연산자 기능 제공, 자연어 처리(NLP)와 딥러닝 알고리즘 결합, 단일 유형에서 다양한 인스턴스의 고유성 수준 향상, 도메인 매핑의 지속적이고 반복적인 진화를 지원합니다.
SPG-리서처 로직 규칙 추론지식 그래프 도메인 특정 언어(KGDSL)를 추상화하여 논리 규칙의 프로그래밍 가능한 기호 표현을 제공합니다. 기계가 이해할 수 있는 기호 표현을 통해 다운스트림 규칙 추론, 신경/기호 융합 학습, KG2Prompt 연계 LLM 지식 추출/지식 추론 등을 지원합니다. 술어 의미론과 논리 규칙을 통해 종속성과 지식의 전달을 정의하고 복잡한 비즈니스 시나리오의 모델링과 분석을 지원합니다.
프로그래밍 가능한 프레임워크 KNext그래프 프로그래밍이 가능한 프레임워크인 KNext는 확장 가능하고 프로세스 지향적이며 사용자 친화적인 일련의 구성 요소 기능을 제공하고, 그래프의 핵심 기능을 추상화하여 구성 요소화, 프레임워크, 엔진 구축 기능으로 구체화하며, 비즈니스 로직과 도메인 모델에서 엔진을 분리하여 비즈니스가 그래프 솔루션을 빠르게 정의할 수 있도록 하며, OpenSPG 엔진 기반의 지식 중심적이고 제어 가능한 AI 기술을 구축합니다. 스택을 기반으로 지식 기반 제어 가능한 AI 기술을 구축하여 LLM 및 GraphLearning과 같은 딥 러닝 기능을 연결합니다.
클라우드 적응 계층 Cloudext비즈니스 시스템은 SDK를 통해 오픈 엔진을 도킹하여 고유한 비즈니스 프런트엔드, 확장/조정 가능한 맞춤형 그래프 스토리지/그래프 계산 엔진, 비즈니스 특성에 적합한 확장/조정 가능한 머신 러닝 프레임워크를 구축할 수 있습니다.