OpenSPG: Open Source Knowledge Graph Engine

Общее введение

OpenSPG - это движок графов знаний с открытым исходным кодом, разработанный Ant Group в сотрудничестве с OpenKG, основанный на фреймворке SPG (Semantic Enhanced Programmable Graph). Движок предназначен для поддержки построения и управления графами знаний домена, предоставляя такие возможности, как явное семантическое представление, логические определения правил и операционные рамки. OpenSPG сочетает в себе простоту структуры LPG и сложность семантики RDF, и подходит для широкого спектра бизнес-сценариев, таких как финансы.

Список функций

• Моделирование знаний: поддержка моделирования знаний об ограничениях доменной модели
• Семантическое представление: Обеспечьте явное семантическое представление и определения логических правил
• Операционные рамки: поддержка построения, рассуждений и других операционных рамок
• Адаптация плагинов: поддержка адаптации плагинов к базовому движку и алгоритмическим сервисам
• Визуализация данных: предоставление интуитивно понятного интерфейса для изучения и анализа данных

Использование помощи

Процесс установки

Установка сервера

Серверная часть развернута на основе Docker Compose и содержит 4 основных образа:

• openspg-server: Предоставление услуг схемы
• openspg-mysql: Хранение данных схемы
• tugraph: Хранение картографических данных
• elasticsearch: Индексированные картографические данные

1. загрузка docker-compose.yml файл, выполните следующие команды в текущем каталоге и дождитесь окончания выполнения команд, чтобы завершить запуск сервера:

   docker-compose -f docker-compose.yml up -d
   

2. (coll.) провалить (студента) openspg-server После локального запуска вы можете открыть порт http://127.0.0.1:8887, чтобы увидеть страницу визуализации фронтэнда. Если openspg-server При удаленном развертывании необходимо соответствующим образом изменить IP-адрес.

Установка клиента

Клиент также предоставляет образ Docker, и выполнение следующей команды напрямую приведет к извлечению этого образа:

docker pull --platform linux/x86_64 spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest

После загрузки образа вы можете клонировать исходный код OpenSPG:

git clone --depth=1 https://github.com/OpenSPG/openspg.git

После завершения клонирования исходного кода вы можете ознакомиться с кейсами, которые поставляются вместе с ним:

# 启动容器，将其中的${project_dir}替换成源码目录
docker run --rm --net=host -v ${project_dir}:/code \
  -it spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest \
  "/bin/bash"
  
# 容器启动后，进入/code目录，即openspg项目源码目录
cd /code

# 后续可以安装案例教程，比如进入riskmining目录
cd python/knext/knext/examples/riskmining

# 参考案例教程，执行相应的knext命令，比如
knext project create --prj_path .
knext schema commit

knext builder execute ...
knext reasoner execute ...

В качестве альтернативы, если вы собираетесь писать проект отображения локально на базе IDE, вы можете установить knext, выполнив следующую команду:

pip install openspg-knext

Подробная процедура работы

запуск на стороне сервера

1. Клонируйте исходный код OpenSPG и откройте его в IDE:

   git clone git@github.com:OpenSPG/openspg.git
   

   Предполагается, что все следующие команды будут выполняться в корневом каталоге кодовой базы openspg.

2. Выполните команду mvn compile:

   mvn clean install -Dmaven.test.skip=true -Dspotless.check.skip -Dspotless.apply.skip
   

3. Запускайте локально такие контейнеры, как MySQL, ElasticSearch, TuGraph и т. д:

   sh dev/test/docker-compose.sh
   

4. Находится запись сервера запуска:

   com.antgroup.openspg.server.arks.sofaboot.Application
   

Клиентский стартап

1. Подготовьте виртуальную среду Python версии 3.8+.
2. Скопируйте скомпилированные в mvn пакеты reasoner и builder в каталог knext:

   cp dev/release/python/lib/builder* python/knext/knext/builder/lib
   cp dev/release/python/lib/reasoner* python/knext/knext/reasoner/lib
   

3. Установите nn4k локально:

   cd python/nn4k
   python setup.py develop
   

4. Локальная установка кнекста:

   cd python/knext
   python setup.py develop
   

5. После этого вы можете выполнить команду knext в виртуальной среде Python.

Модель ключевых компетенций

Модель основных компетенций OpenSPG включает в себя:

• Семантическое моделирование SPG-Schema: Отвечает за разработку схемных каркасов для семантического расширения атрибутивных графов, например, субъектных моделей, эволюционных моделей, моделей предикатов.
• SPG-Builder Knowledge Building: Поддерживает импорт структурированных и неструктурированных знаний, совместим с архитектурами больших данных и предоставляет оператор построения знаний, позволяющий преобразовывать данные в знания. Abstracts the knowledge processing SDK framework, provides the ability of entity chaining finger, concept labelling and entity normalisation operators, combines natural language processing (NLP) and deep learning algorithms, improves the uniqueness level of different instances in a single type, and supports the continuous and iterative evolution of the domain mapping.
• SPG-Reasoner Логические правила рассуждений: Abstracts KGDSL (Knowledge Graph Domain Specific Language) для обеспечения программируемого символьного представления логических правил. Поддержка последующего вывода правил, нейронного/символического обучения слиянием, извлечения/вывода знаний на основе KG2Prompt, связанного с LLM, и т. д. с помощью понятных машинам символических представлений. Определение зависимостей и передача знаний с помощью семантики предикатов и логических правил, а также поддержка моделирования и анализа сложных бизнес-сценариев.
• Программируемый фреймворк KNextKNext, как программируемый граф-фреймворк, предоставляет набор масштабируемых, процессно-ориентированных и удобных для пользователя компонуемых возможностей; абстрагирует основные возможности графов и осаждает их в компонуемые, фреймируемые и создаваемые движком возможности; достигает изоляции движка от бизнес-логики и модели домена, что облегчает бизнесу быстрое определение граф-решения; и строит управляемую технологию ИИ на основе движка OpenSPG. стек, объединяющий возможности глубокого обучения, такие как LLM и GraphLearning.
• Уровень адаптации облака CloudextБизнес-системы могут подключаться к открытому движку через SDK для создания собственного фронтэнда; расширяемого/адаптируемого специализированного хранилища графов/движка для вычислений графов; расширяемого/адаптируемого фреймворка машинного обучения, подходящего для их собственных бизнес-особенностей.