Knowledge Table: una herramienta de código abierto para la extracción y exploración eficientes de datos estructurados

Introducción general

Knowledge Table es un proyecto de código abierto diseñado para simplificar el proceso de extracción y exploración de datos estructurados a partir de documentos no estructurados. Los usuarios pueden crear representaciones estructuradas del conocimiento, como tablas y gráficos, a través de una interfaz de consulta en lenguaje natural. La herramienta admite reglas de extracción y opciones de formato personalizadas, y garantiza la trazabilidad de los datos mostrando las fuentes de datos a través de una interfaz de usuario. Knowledge Sheets ofrece a los usuarios empresariales una interfaz de hoja de cálculo familiar, al tiempo que proporciona a los desarrolladores un backend flexible y altamente configurable para una gran variedad de necesidades de procesamiento de datos.

Lista de funciones

• extracción del lenguaje natural (NLE): Soporte para la extracción de datos estructurados a partir de documentos no estructurados mediante consultas en lenguaje natural.
• Reglas de extracción personalizadasReglas de extracción: los usuarios pueden definir reglas de extracción para garantizar la calidad de los datos.
• control de formato: Se puede controlar el formato de salida de los datos extraídos.
• Filtrado de documentosFiltro de documentos basado en metadatos o datos extraídos.
• Exportación de CSV o triadas de mapasAdmite la descarga de los datos extraídos en formato CSV o de tupla.
• extracción de la cadenaPermite referencias a columnas anteriores en las preguntas.

Utilizar la ayuda

Instalación y funcionamiento

1. Docker en ejecución::
   • Asegúrese de que Docker y Docker Compose están instalados.
   • Uso de comandos docker-compose up -d --build Inicie la aplicación.
   • Acceso a la parte delantera http://localhost:3000 y back-end http://localhost:8000.
2. funcionamiento local::
   • Clonación del código base:git clone https://github.com/yourusername/knowledge-table.git
   • Ve al directorio backend y crea un entorno virtual:

     cd knowledge-table/backend/
     python3 -m venv venv
     source venv/bin/activate  # Windows使用 venv\Scripts\activate
     pip install -r requirements.txt
     

   • Inicie el servicio back-end:

     cd src/
     python -m uvicorn knowledge_table_api.main:app
     

3. Configuración del front-end::
   • Vaya al directorio del front-end e instale las dependencias:

     cd ../frontend/
     curl https://bun.sh/install | bash  # 安装Bun
     bun install
     bun start
     

   • Los servicios frontales se encuentran en http://localhost:5173 Acceso.

Proceso de utilización

• Cargar un documento: Al cargar documentos no estructurados en la tabla de conocimientos, el sistema los divide en trozos y los almacena en una base de datos vectorial.
• Establecer problemas y normasDefinir el tipo de datos a extraer y las preguntas correspondientes que el sistema procesará a partir de esta información.
• Ver resultadosEl usuario puede ver el resultado estructurado una vez finalizado el tratamiento de los datos y realizar los ajustes necesarios.

advertencia

• Asegurarse de que se cumplen las leyes y normativas pertinentes para evitar infringir los derechos e intereses de terceros.
• Los datos extraídos se validan periódicamente para garantizar su exactitud y actualidad.