Knowledge Table: Ein Open-Source-Tool für die effiziente Extraktion und Exploration von strukturierten Daten

Allgemeine Einführung

Knowledge Table ist ein Open-Source-Projekt, das den Prozess der Extraktion und Erkundung strukturierter Daten aus unstrukturierten Dokumenten vereinfachen soll. Benutzer können strukturierte Wissensdarstellungen wie Tabellen und Diagramme über eine natürlichsprachliche Abfrageoberfläche erstellen. Das Tool unterstützt benutzerdefinierte Extraktionsregeln und Formatierungsoptionen und gewährleistet die Rückverfolgbarkeit der Daten, indem es die Datenquelle über eine Benutzeroberfläche anzeigt. Knowledge Sheets bietet Geschäftsanwendern eine vertraute Tabellenkalkulationsschnittstelle, während Entwicklern ein flexibles und hoch konfigurierbares Backend für eine Vielzahl von Datenverarbeitungsanforderungen zur Verfügung steht.

Funktionsliste

• Extraktion natürlicher Sprache (NLE)Unterstützung für die Extraktion strukturierter Daten aus unstrukturierten Dokumenten mit Hilfe natürlichsprachlicher Abfragen.
• Benutzerdefinierte ExtraktionsregelnBenutzer können Extraktionsregeln definieren, um die Datenqualität zu gewährleisten.
• FormatsteuerungDas Ausgabeformat der extrahierten Daten kann gesteuert werden.
• Dokument-FilterungFiltern von Dokumenten auf der Grundlage von Metadaten oder extrahierten Daten.
• CSV- oder Kartentriade-ExporteUnterstützt das Herunterladen der extrahierten Daten in das CSV- oder Tupel-Format.
• Kettenextraktion: Verweise auf frühere Spalten in den Fragen sind erlaubt.

Hilfe verwenden

Installation und Betrieb

1. Docker läuft::
   • Stellen Sie sicher, dass Docker und Docker Compose installiert sind.
   • Befehle verwenden docker-compose up -d --build Starten Sie die Anwendung.
   • Zugang zum Frontend http://localhost:3000 und Back-End http://localhost:8000.
2. lokaler Betrieb::
   • Klonen der Codebasis:git clone https://github.com/yourusername/knowledge-table.git
   • Wechseln Sie in das Backend-Verzeichnis und erstellen Sie eine virtuelle Umgebung:

     cd wissens-tabelle/backend/
     python3 -m venv venv
     Quelle venv/bin/aktivieren  # Windows mit venv\Scripts\aktivieren
     pip install -r anforderungen.txt
     

   • Starten Sie den Backend-Dienst:

     cd src/
     python -m uvicorn knowledge_table_api.main:app
     

3. Front-End-Einstellungen::
   • Wechseln Sie in das Front-End-Verzeichnis und installieren Sie die Abhängigkeiten:

     cd ... /frontend/
     curl https://bun.sh/install | bash  # Einbau Bun
     Brötchen installieren
     Brötchen starten
     

   • Die Front-End-Dienste finden Sie in der http://localhost:5173 Zugang.

Verwendung Prozess

• Ein Dokument hochladenDas System teilt unstrukturierte Dokumente in die Wissenstabelle ein und speichert sie in einer Vektordatenbank.
• Aufstellung von Problemen und RegelnDefinition der Art der zu extrahierenden Daten und der entsprechenden Fragen, die das System auf der Grundlage dieser Informationen bearbeiten soll.
• Ergebnisse anzeigenNach Abschluss der Datenverarbeitung kann der Benutzer die strukturierte Ausgabe einsehen und bei Bedarf Anpassungen vornehmen.

caveat

• Sicherstellen, dass die einschlägigen Gesetze und Vorschriften befolgt werden, um die Rechte und Interessen anderer nicht zu verletzen.
• Die extrahierten Daten werden regelmäßig validiert, um ihre Genauigkeit und Aktualität zu gewährleisten.

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>