wdoc: Abrufen von Inhalten und Zusammenfassen von Wissen aus umfangreichen Dokumenten aus mehreren Quellen

Allgemeine Einführung

wdoc ist ein leistungsfähiges RAG-System (Retrieval Augmentation Generation), das für die Verarbeitung und Analyse großer und unterschiedlicher Dokumente entwickelt wurde. Es ist in der Lage, eine breite Palette von Dokumenttypen abzurufen, darunter PDFs, Webseiten, YouTube-Videos, Audiodateien usw. wdoc eignet sich besonders gut für die Verarbeitung großer Mengen von Informationsquellen und ist damit ein ideales Werkzeug für Forscher, Studenten und Fachleute, die mit großen Informationsmengen arbeiten müssen. Das System nutzt die LangChain-Bibliothek für die Dokumentenverarbeitung, unterstützt eine breite Palette von LLM-Anbietern (Large Language Model) und bietet hochpräzise Such- und Zusammenfassungsfunktionen. wdoc wird ständig weiterentwickelt, und Benutzer-Feedback und Funktionswünsche sind willkommen.

Funktionsliste

• Unterstützung mehrerer DateitypenUnterstützt über 15 Dateitypen, darunter PDFs, Webseiten, YouTube-Videos, Audiodateien und mehr.
• Hochpräzises Abrufen und ZusammenfassenBietet eine hochpräzise Dokumentensuche und -zusammenfassung durch eingebettete Suche und semantische Stapelverarbeitung.
• Multi-LLM-UnterstützungMehrere LLM-Anbieter werden unterstützt, einschließlich lokaler Modelle und privater Modelle mit zusätzlichen Sicherheitsebenen.
• Erweiterte RAG-FunktionenSchwaches LLM wird verwendet, um irrelevante Dokumente herauszufiltern, und starkes LLM, um präzise Antworten zu geben und Antworten durch semantisches Clustern und Sortieren zusammenzuführen.
• Leicht zu erweiternwdoc: Nicht nur ein Werkzeug, sondern auch eine Bibliothek, die es den Benutzern ermöglicht, wdoc in anderen Python-Projekten zu verwenden.
• Ausführliche Dokumentation und HilfeUmfangreiche Dokumentation und Hilfeinformationen ermöglichen den Benutzern einen schnellen Einstieg.

Hilfe verwenden

Montage

wdoc benötigt derzeit die Python-Version 3.11, um zu laufen. Bitte vergewissern Sie sich, dass Sie die richtige Python-Version haben, und folgen Sie dann den nachstehenden Schritten, um sie zu installieren:

1. Verwenden Sie pip zur Installation:

   pip install -U wdoc

2. oder einen bestimmten Git-Zweig installieren:

   pip install git+https://github.com/thiswillbeyourgithub/wdoc@dev
   

3. Es wird empfohlen, die Unterstützung für pdftotext und fasttext zu installieren:

   pip install -U wdoc[pdftotext] wdoc[fasttext]
   

ausnutzen

1. Fügen Sie den erforderlichen API-Schlüssel als Umgebungsvariable hinzu:

   export OPENAI_API_KEY="您的API密钥"
   

2. Starten Sie wdoc:

   wdoc --task=query --path=您的文档路径
   

Funktion Betriebsablauf

Suche nach Dokumenten

Verwenden Sie wdoc, um den Inhalt eines Dokuments abzufragen:

wdoc --task=query --path=您的文档路径 --filetype=pdf --query="查询内容"

Der Befehl lädt die PDF-Datei aus dem angegebenen Pfad, ruft sie entsprechend der Abfrage ab und gibt die relevanten Dokumente zurück.

Zusammenfassung der Dokumentation

Verwenden Sie wdoc, um das Dokument zusammenzufassen:

wdoc --task=summarize --path=您的文档路径 --filetype=pdf

Der Befehl fasst den angegebenen Pfad zur PDF-Datei zusammen und liefert eine detaillierte Zusammenfassung des Dokumentinhalts.

Kombinierte Aufgaben

Sie können auch Abfrage- und Zusammenfassungsaufgaben kombinieren:

wdoc --task=summarize_then_query --path=您的文档路径 --filetype=pdf

Dieser Befehl fasst zunächst den Inhalt des Dokuments zusammen und ermöglicht es Ihnen dann, weitere Nachforschungen zu dieser Zusammenfassung anzustellen.

Erweiterte Funktionen

wdoc unterstützt eine Vielzahl von fortgeschrittenen Funktionen wie:

• Unterstützung mehrerer DateitypenLaden mehrerer Dateitypen über rekursive Pfade, verknüpfte Dateien usw.
• Erweiterte RAG-FunktionenVerbesserung der Abrufgenauigkeit durch Techniken wie die Suche mit mehreren Abfragen und die semantische Stapelverarbeitung.
• Lokale und private LLM-UnterstützungSicherstellen, dass die Daten sicher sind und nicht an externe Anbieter weitergegeben werden.
• Ausführliche Dokumentation und Hilfe: durchwdoc --helpHier finden Sie weitere Informationen über die Verwendung des Programms.