Knowledge Table: Ein Open-Source-Tool für die effiziente Extraktion und Erkundung von strukturierten Daten

Allgemeine Einführung

Knowledge Table ist ein Open-Source-Projekt, das den Prozess der Extraktion und Erkundung strukturierter Daten aus unstrukturierten Dokumenten vereinfachen soll. Benutzer können strukturierte Wissensdarstellungen wie Tabellen und Diagramme über eine natürlichsprachliche Abfrageoberfläche erstellen. Das Tool unterstützt benutzerdefinierte Extraktionsregeln und Formatierungsoptionen und gewährleistet die Rückverfolgbarkeit von Daten durch die Anzeige von Datenquellen über eine Benutzeroberfläche. Knowledge Sheets bietet Geschäftsanwendern eine vertraute Tabellenkalkulationsschnittstelle, während es Entwicklern ein flexibles und hoch konfigurierbares Backend für eine Vielzahl von Datenverarbeitungsanforderungen bietet.

Funktionsliste

• Extraktion natürlicher Sprache (NLE)Unterstützung für die Extraktion strukturierter Daten aus unstrukturierten Dokumenten mit Hilfe natürlichsprachlicher Abfragen.
• Benutzerdefinierte ExtraktionsregelnBenutzer können Extraktionsregeln definieren, um die Datenqualität zu gewährleisten.
• FormatsteuerungDas Ausgabeformat der extrahierten Daten kann gesteuert werden.
• Dokument-FilterungFiltern von Dokumenten auf der Grundlage von Metadaten oder extrahierten Daten.
• CSV- oder Kartentriade-ExporteUnterstützt das Herunterladen der extrahierten Daten in das CSV- oder Tupel-Format.
• Kettenextraktion: Verweise auf frühere Spalten in den Fragen sind erlaubt.

Hilfe verwenden

Installation und Betrieb

1. Docker läuft::
   • Stellen Sie sicher, dass Docker und Docker Compose installiert sind.
   • Befehle verwenden docker-compose up -d --build Starten Sie die Anwendung.
   • Zugang zum Frontend http://localhost:3000 und Back-End http://localhost:8000.
2. lokaler Betrieb::
   • Klonen der Codebasis:git clone https://github.com/yourusername/knowledge-table.git
   • Wechseln Sie in das Backend-Verzeichnis und erstellen Sie eine virtuelle Umgebung:

     cd knowledge-table/backend/
     python3 -m venv venv
     source venv/bin/activate  # Windows使用 venv\Scripts\activate
     pip install -r requirements.txt
     

   • Starten Sie den Backend-Dienst:

     cd src/
     python -m uvicorn knowledge_table_api.main:app
     

3. Front-End-Einstellungen::
   • Wechseln Sie in das Front-End-Verzeichnis und installieren Sie die Abhängigkeiten:

     cd ../frontend/
     curl https://bun.sh/install | bash  # 安装Bun
     bun install
     bun start
     

   • Die Front-End-Dienste finden Sie in der http://localhost:5173 Zugang.

Verwendungsprozess

• Ein Dokument hochladenDas System teilt unstrukturierte Dokumente in die Wissenstabelle ein und speichert sie in einer Vektordatenbank.
• Aufstellung von Problemen und RegelnDefinition der Art der zu extrahierenden Daten und der entsprechenden Fragen, die das System auf der Grundlage dieser Informationen bearbeiten soll.
• Ergebnisse anzeigenNach Abschluss der Datenverarbeitung kann der Benutzer die strukturierte Ausgabe einsehen und bei Bedarf Anpassungen vornehmen.

caveat

• Sicherstellen, dass die einschlägigen Gesetze und Vorschriften befolgt werden, um die Rechte und Interessen anderer nicht zu verletzen.
• Die extrahierten Daten werden regelmäßig validiert, um ihre Genauigkeit und Aktualität zu gewährleisten.