OpenSPG: motor de grafos de conocimiento de código abierto

Introducción general

OpenSPG es un motor de grafos de conocimiento de código abierto desarrollado por Ant Group en colaboración con OpenKG, basado en el marco SPG (Semantic Enhanced Programmable Graph). OpenSPG combina la sencillez de la estructura LPG con la complejidad de la semántica RDF, y es adecuado para una amplia gama de escenarios empresariales, como las finanzas.

Lista de funciones

• Modelización del conocimiento: apoyo a la modelización del conocimiento de las restricciones del modelo de dominio
• Representación semántica: proporcionar una representación semántica explícita y definiciones de reglas lógicas.
• Marcos operativos: apoyo a la construcción, el razonamiento y otros marcos operativos
• Adaptación de complementos: admite la adaptación de complementos del motor subyacente y los servicios algorítmicos.
• Visualización de datos: ofrecer una interfaz intuitiva para la exploración y el análisis de datos.

Utilizar la ayuda

Proceso de instalación

Instalación del servidor

El lado del servidor se despliega basándose en Docker Compose y contiene 4 imágenes principales:

• openspg-server: Proporcionar servicios de esquema
• openspg-mysqlAlmacenamiento de datos de esquemas
• tugraph: Almacenamiento de datos cartográficos
• elasticsearch: Datos cartográficos indexados

1. descargando docker-compose.yml y ejecute los siguientes comandos en el directorio actual, y espere a que finalice la ejecución de los comandos para completar el arranque del servidor:

   docker-compose -f docker-compose.yml up -d
   

2. (coll.) suspender (a un estudiante) openspg-server Tras el inicio local, puede abrir el puerto http://127.0.0.1:8887 para ver la página de visualización del front-end. Si openspg-server Desplegado a distancia, la dirección IP correspondiente debe modificarse en consecuencia.

Instalación del cliente

El cliente también proporciona una imagen Docker, y la ejecución directa del siguiente comando extraerá esa imagen:

docker pull --platform linux/x86_64 spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest

Tras descargar la imagen, puede clonar el código fuente de OpenSPG:

git clone --depth=1 https://github.com/OpenSPG/openspg.git

Una vez que el clon de la fuente está completo, puedes experimentar los casos que vienen con la fuente:

# 启动容器，将其中的${project_dir}替换成源码目录
docker run --rm --net=host -v ${project_dir}:/code \
  -it spg-registry.cn-hangzhou.cr.aliyuncs.com/spg/openspg-python:latest \
  "/bin/bash"
  
# 容器启动后，进入/code目录，即openspg项目源码目录
cd /code

# 后续可以安装案例教程，比如进入riskmining目录
cd python/knext/knext/examples/riskmining

# 参考案例教程，执行相应的knext命令，比如
knext project create --prj_path .
knext schema commit

knext builder execute ...
knext reasoner execute ...

Alternativamente, cuando vaya a escribir un proyecto de mapeo localmente basado en un IDE, puede instalar knext ejecutando el siguiente comando:

pip install openspg-knext

Procedimiento de funcionamiento detallado

inicio del servidor

1. Clona el código fuente de OpenSPG y ábrelo en el IDE:

   git clone git@github.com:OpenSPG/openspg.git
   

   Se supone que todos los comandos siguientes se ejecutan en el directorio raíz de la base de código openspg.

2. Ejecute el comando mvn compile:

   mvn clean install -Dmaven.test.skip=true -Dspotless.check.skip -Dspotless.apply.skip
   

3. Inicia contenedores como MySQL, ElasticSearch, TuGraph, etc. localmente:

   sh dev/test/docker-compose.sh
   

4. Se encuentra la entrada del servidor de inicio:

   com.antgroup.openspg.server.arks.sofaboot.Application
   

Puesta en marcha del cliente

1. Prepare un entorno virtual Python, versión 3.8+.
2. Copie los paquetes mvn-compiled reasoner y builder al directorio knext:

   cp dev/release/python/lib/builder* python/knext/knext/builder/lib
   cp dev/release/python/lib/reasoner* python/knext/knext/reasoner/lib
   

3. Instale nn4k localmente:

   cd python/nn4k
   python setup.py develop
   

4. Instalación local de knext:

   cd python/knext
   python setup.py develop
   

5. Una vez que hayas terminado, puedes ejecutar el comando knext en ese entorno virtual de Python.

Modelo de competencias básicas

El modelo de competencias básicas de OpenSPG incluye:

• Modelo semántico SPG-SchemaResponsable del diseño de marcos de esquemas para la mejora semántica de grafos de atributos, por ejemplo, modelos de sujetos, modelos evolutivos, modelos de predicados, etc.
• SPG-Builder Construcción del conocimientoSoporta la importación de conocimiento estructurado y no estructurado, es compatible y se articula con arquitecturas de big data, y proporciona un marco de operadores de construcción de conocimiento para permitir la conversión de datos en conocimiento. Abstracts the knowledge processing SDK framework, provides the ability of entity chaining finger, concept labelling and entity normalisation operators, combines natural language processing (NLP) and deep learning algorithms, improves the uniqueness level of different instances in a single type, and supports the continuous and iterative evolution of the domain mapping.
• SPG-Reasoner Razonamiento de reglas lógicasResumen KGDSL (Knowledge Graph Domain Specific Language) para proporcionar una representación simbólica programable de las reglas lógicas. Admite la inferencia de reglas descendentes, el aprendizaje por fusión neuronal/simbólica, la extracción de conocimientos/la inferencia de conocimientos de LLM vinculado a KG2Prompt, etc., con representaciones simbólicas comprensibles por la máquina. Define las dependencias y la transferencia de conocimientos a través de la semántica de predicados y las reglas lógicas, y admite el modelado y el análisis de escenarios empresariales complejos.
• Marco programable KNextKNext, como marco programable de grafos, proporciona un conjunto de capacidades escalables, orientadas al proceso y fáciles de usar; abstrae las capacidades básicas de los grafos y las precipita en capacidades componentizadas, enmarcadas y construidas por el motor; consigue aislar el motor de la lógica empresarial y el modelo de dominio, lo que facilita a la empresa la rápida definición de la solución de grafos; y construye una tecnología de IA controlable y basada en el conocimiento basada en el motor OpenSPG. vinculando capacidades de aprendizaje profundo como LLM y GraphLearning.
• Capa de adaptación a la nube CloudextLos sistemas empresariales pueden acoplarse al motor abierto a través del SDK para construir su propio front-end empresarial característico; motor de almacenamiento de grafos/computación de grafos personalizado ampliable/adaptable; marco de aprendizaje automático ampliable/adaptable adecuado a sus propias características empresariales.