Unstrukturiert: Open-Source-Vorverarbeitung unstrukturierter Dokumente, Tools zur Verarbeitung unstrukturierter Daten

Allgemeine Einführung

Unstructured-IO bietet eine Reihe von Open-Source-Komponenten für die Verarbeitung und Vorverarbeitung von Bildern und Textdokumenten wie PDF, HTML, Word-Dokumenten usw. Das Hauptziel ist die Vereinfachung und Optimierung von Datenverarbeitungs-Workflows, insbesondere für Large Language Model (LLM)-Anwendungen. Das Hauptziel ist die Vereinfachung und Optimierung von Datenverarbeitungs-Workflows, insbesondere für Large Language Model (LLM)-Anwendungen. Die modulare Funktionalität und die Konnektoren von Unstructured-IO bilden ein einheitliches System, das die Datenaufnahme und -vorverarbeitung effizient und an verschiedene Plattformen anpassbar macht.

Funktionsliste

• Dateneingabe und Vorverarbeitung
• Unterstützung für mehrere Dokumenttypen (PDF, HTML, Word usw.)
• Modulare Funktionen und Anschlüsse
• Bietet Open-Source-APIs und Client-Bibliotheken
• Unterstützt den Einsatz von Docker-Containern
• Bereitstellung von serverlosen APIs zur Verbesserung der Leistung

Hilfe verwenden

Ablauf der Installation

1. Verwendung der Docker Container Runtime Library
   • Stellen Sie sicher, dass Docker installiert ist.
   • Führen Sie den folgenden Befehl aus, um das entsprechende Docker-Image herunterzuladen und auszuführen:

     docker pull downloads.unstructured.io/unstructured-io/unstructured:latest
     docker run -it --rm downloads.unstructured.io/unstructured-io/unstructured:latest
     

2. Installation von Bibliotheken aus PyPI
   • Verwenden Sie pip zur Installation:

     Pip-Installation unstrukturiert
     

3. Lokale Entwicklung Installation
   • Klonen Sie ein GitHub-Repository:

     git klonen. https://github.com/Unstructured-IO/unstructured.git
     cd unstrukturiert
     pip install -e .
     

Richtlinien für die Verwendung

1. Dateneingabe
   • ausnutzen unstrukturiert Die Bibliothek nimmt die Dokumente auf:

     von unstrukturierte.partition.pdf importieren partition_pdf
     Dokument = partition_pdf("beispiel.pdf")
     

2. Vorverarbeitung der Daten
   • Dokumente bereinigen und stückeln:

     von unstrukturierte.reiniger.kern importieren clean
     cleaned_document = clean(Dokument)
     

3. Verbindung zu Datenquellen und Zielen
   • Verwenden Sie das Verbindungsstück, um Daten an den Zielort zu übertragen:

     von unstrukturierte.Verbinder importieren send_to_destination
     send_to_destination(bereinigtes_Dokument, destination="s3://bucket-name")
     

4. Serverlose API
   • Registrieren Sie sich und erhalten Sie den API-Schlüssel:
     • Interviews Unstrukturierte API-Registrierungsseite.
     • Holen Sie sich den API-Schlüssel und verwenden Sie ihn:

       importieren Anfragen
       headers = {"Autorisierung": "Träger YOUR_API_KEY"}
       response = requests.post("https://api.unstructured.io/process", headers=headers, json={"Dokument": "beispiel.pdf"})
       

Der Leitfaden für Laien zum Einstieg in die KI

Hilft Ihnen, die Nutzung von KI-Tools kostengünstig und von Null an zu erlernen.KI ist, wie Bürosoftware, eine wesentliche Fähigkeit für jeden. Die Beherrschung von KI verschafft Ihnen einen Vorteil bei der Stellensuche und die Hälfte des Aufwands bei Ihrer zukünftigen Arbeit und Ihrem Studium.

Details ansehen>