Knowledge Table: uma ferramenta de código aberto para extração e exploração eficientes de dados estruturados

Introdução geral

O Knowledge Table é um projeto de código aberto desenvolvido para simplificar o processo de extração e exploração de dados estruturados de documentos não estruturados. Os usuários podem criar representações de conhecimento estruturado, como tabelas e gráficos, por meio de uma interface de consulta em linguagem natural. A ferramenta suporta regras de extração e opções de formatação personalizadas e garante a rastreabilidade dos dados exibindo a fonte de dados por meio de uma interface de usuário. O Knowledge Sheets oferece aos usuários corporativos uma interface de planilha familiar e, ao mesmo tempo, fornece aos desenvolvedores um back-end flexível e altamente configurável para uma variedade de necessidades de processamento de dados.

Lista de funções

• extração de linguagem natural (NLE)Suporte para extração de dados estruturados de documentos não estruturados usando consultas em linguagem natural.
• Regras de extração personalizadasOs usuários podem definir regras de extração para garantir a qualidade dos dados.
• controle de formatoFormato de saída: O formato de saída dos dados extraídos pode ser controlado.
• Filtragem de documentosFiltragem de documentos com base em metadados ou dados extraídos.
• Exportação de CSV ou tríade de mapasSuporte para download de dados extraídos em formato CSV ou tupla.
• extração da cadeiaPermitir referências a colunas anteriores nas perguntas.

Usando a Ajuda

Instalação e operação

1. Docker em execução::
   • Certifique-se de que o Docker e o Docker Compose estejam instalados.
   • Usando comandos docker-compose up -d --build Inicie o aplicativo.
   • Acesso ao front-end http://localhost:3000 e back-end http://localhost:8000.
2. operação local::
   • Clonagem da base de código:git clone https://github.com/yourusername/knowledge-table.git
   • Vá para o diretório backend e crie um ambiente virtual:

     cd tabela de conhecimento/backend/
     python3 -m venv venv
     fonte venv/bin/activate  # Windows usando venv\Scripts\activate
     pip install -r requirements.txt
     

   • Inicie o serviço de back-end:

     cd src/
     python -m uvicorn knowledge_table_api.main:app
     

3. Configurações de front-end::
   • Vá para o diretório do front-end e instale as dependências:

     cd ... /frontend/
     curl https://bun.sh/install | bash  # Installation Bun
     instalação do pão
     bun start
     

   • Os serviços de front-end podem ser encontrados na seção http://localhost:5173 Acesso.

Processo de uso

• Fazer upload de um documentoNo caso de upload de documentos não estruturados para a tabela de conhecimento, o sistema os divide em partes e os armazena em um banco de dados vetorial.
• Definição de problemas e regrasDefinir o tipo de dados a serem extraídos e as perguntas correspondentes que o sistema processará com base nessas informações.
• Exibir resultadosApós concluir o processamento de dados, o usuário pode visualizar a saída estruturada e fazer ajustes conforme necessário.

advertência

• Garantir que as leis e os regulamentos relevantes sejam seguidos para evitar a violação dos direitos e interesses de terceiros.
• Os dados extraídos são validados regularmente para garantir sua precisão e atualidade.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>