Shandu: ein KI-Forschungsautomatisierungswerkzeug für die Sammlung und Analyse von Informationen in mehreren Runden

Allgemeine Einführung

Shandu ist ein quelloffenes KI-basiertes Forschungssystem, das auf GitHub gehostet und vom Entwickler jolovicdev erstellt wurde. Es nutzt LangChain und LangGraph Technologie, die den Nutzern automatisierte, umfassende und effiziente Möglichkeiten der Themenrecherche bieten soll. Im Gegensatz zu herkömmlichen Einzelsuchwerkzeugen ist Shandu in der Lage, durch rekursive Erkundung und parallele Verarbeitung tiefer in die Informationen einzudringen, und unterstützt Befehlszeilen- (CLI) und Python-Schnittstellenoperationen. Ob für die akademische Forschung, die Entdeckung von Technologien oder die Marktanalyse, Shandu kann zur schnellen Organisation komplexer Daten verwendet werden und verfügt über integrierte Web-Crawling-Funktionen, die einen ethischen Zugang zu einer Vielzahl von Quellen gewährleisten. Das Projekt dient als Alternative zu OpenAI DeepResearch, wobei der Schwerpunkt darauf liegt, dass es leichtgewichtig, kostenlos und lokal für Entwickler und Forscher betrieben wird.

Funktionsliste

• Eingehende Studie zur AutomatisierungAuf der Grundlage der vom Benutzer eingegebenen Abfragen führt das System automatisch eine mehrstufige Informationsgewinnung durch, um umfassende Forschungsberichte zu erstellen.
• Rekursive ErkundungSchrittweise Erweiterung der Studie durch iterative Suche und Analyse, um versteckte Korrelationsinformationen aufzudecken.
• ParallelverarbeitungUnterstützt Multithreading-Operationen, um Daten aus mehreren Quellen gleichzeitig abzurufen und so die Effizienz zu steigern.
• Web-CrawlerEingebauter Crawler, der Seiteninhalte extrahiert und dynamisch gerenderte JavaScript-lastige Websites unterstützt.
• Multi-Engine-SucheIntegration von Google, DuckDuckGo und anderen Suchmaschinen, um verschiedene Ergebnisse zu erhalten.
• KI-gestützte SucheBietet eine leichtgewichtige KI-Suchfunktion (aisearch) zur schnellen Beantwortung einfacher Fragen.
• Erstellung von BerichtenOrganisation von Forschungsergebnissen in Dateien im Markdown-Format zum einfachen Lesen und Teilen.
• Flexible KonfigurationUnterstützung für die Anpassung der Suchtiefe, des Umfangs und der Anzahl der Ergebnisse an unterschiedliche Bedürfnisse.

Hilfe verwenden

Ablauf der Installation

Shandu ist ein auf Python basierendes Open-Source-Projekt, das in der lokalen Umgebung installiert und konfiguriert werden muss, um verwendet werden zu können. Hier sind die detaillierten Installationsschritte:

1. Vorbereitung der Umwelt
   • Stellen Sie sicher, dass Sie Python 3.8 oder höher auf Ihrem Gerät installiert haben. Dies können Sie mit dem Befehl python --version Überprüfen Sie die Version.
   • Installieren Sie das Git-Tool zum Klonen von Projektcode von GitHub, das für Windows-Benutzer von der Git-Website heruntergeladen oder für Linux/Mac-Benutzer über den Paketmanager installiert werden kann (z. B. sudo apt install git).
2. Klonprojekt
   • Öffnen Sie ein Terminal (CMD oder PowerShell für Windows, Terminal für Mac/Linux).
   • Geben Sie den folgenden Befehl ein, um das Shandu-Repository zu klonen:

     git clone https://github.com/jolovicdev/shandu.git
     

   • Rufen Sie den Projektkatalog auf:

     cd shandu
     

3. Installation von Abhängigkeiten
   • Verwenden Sie pip, um die für das Projekt erforderlichen Python-Bibliotheken zu installieren:

     pip install -e .
     

   • Wenn Sie Probleme mit den Abhängigkeiten haben, versuchen Sie, pip zu aktualisieren (pip install --upgrade pip) oder eine virtuelle Umgebung verwenden:

     python -m venv venv
     Quelle venv/bin/aktivieren # Linux/Mac
     venv\Scripts\aktivieren # Windows
     pip install -e .
     

4. Konfigurieren der API
   • Shandu muss einen API-Schlüssel konfigurieren, um externe Dienste (z. B. eine Suchmaschine) aufrufen zu können. Führen Sie den folgenden Befehl aus, um in den Konfigurationsmodus zu gelangen:

     shandu konfigurieren
     

   • Geben Sie den API-Schlüssel (z. B. Google API, DuckDuckGo API) ein, wenn Sie dazu aufgefordert werden. Entwickler können sich auf dieNebius-StudioErhalten Sie einen kostenlosen Schlüssel zum Testen.
5. Überprüfen der Installation
   • Einfuhr shandu --helpWenn die Befehlshilfemeldung zurückgegeben wird, war die Installation erfolgreich.

Funktion Betriebsablauf

1. eine eingehende Studie durchführen (Forschungsauftrag)

Dies ist die Kernfunktion von Shandu für die Automatisierung von Recherchen zu komplexen Themen.

• Verfahren::
  1. Geben Sie z. B. den Befehl research in das Terminal ein:

     shandu research "Trends im Cloud Computing" ---Tiefe 2 --Breite 4 ---Ausgabe report.md
     

     • --tiefe 2Tiefe der Untersuchung auf 2 Ebenen einstellen (2 rekursive Erkundungen).
     • ---Breite 4Erweitern Sie 4 verwandte Themen pro Erkundung.
     • --Ausgabe report.md: Speichern Sie das Ergebnis als Markdown-Datei.
  2. Das System leitet automatisch eine Suche und Analyse ein, die einige Minuten dauern kann (je nach Netzwerk und Komplexität des Themas).
     3. wenn Sie fertig sind, öffnen Sie diebericht.mdSehen Sie sich den Forschungsbericht an, der einen Überblick über das Thema, die wichtigsten Ergebnisse und weiterführende Links enthält.
• Verwendungsszenarien:: Geeignet für akademische Forschung oder technische Studien, die umfassende Informationen erfordern, wie z. B. "AI in Healthcare".

2. schnelle KI-Suche (Befehl aisearch)

Verwenden Sie diese Funktion, um einfache Fragen zu beantworten oder sofortige Antworten zu erhalten.

• Verfahren::
  1. Geben Sie einen Schnellsuchbefehl ein, zum Beispiel:

     shandu aisearch "Wer ist der aktuelle Präsident der Vereinigten Staaten?" -ausführlich
     

     • -ausführlichAusführliche Antworten anstelle von Kurzantworten.
  2. Das System ruft das KI-Modell auf, um Ergebnisse wie "Ab dem 3. März 2025 ist der Präsident der Vereinigten Staaten Donald Trump, der seine zweite Amtszeit am 20. Januar 2025 antritt" zu liefern.
• VerwendungsszenarienIdeal für den schnellen Zugriff auf Fakten, wie historische Ereignisse, Informationen über Personen usw.

3. das Scrapen von Webseiten (Befehl scrape)

Dient zum Extrahieren von Inhalten aus einer bestimmten Webseite.

• Verfahren::
  1. Geben Sie z. B. den Befehl capture ein:

     shandu scrape "https://example.com" --dynamisch
     

     • -dynamischDynamisches Rendering für JavaScript-gesteuerte Websites aktivieren.
  2. Das System gibt den extrahierten Textinhalt zurück, der über eine Pipe in einer Datei gespeichert werden kann:

     shandu scrape "https://example.com" --dynamic > output.txt
     

• VerwendungsszenarienAnalyse des Inhalts von Nachrichtenseiten, technischen Blogs oder offiziellen Produktwebseiten.

4. die Suchmaschine konfigurieren

Die Benutzer können die Suchquellen anpassen, um die Ergebnisse zu optimieren.

• Verfahren::
  1. Geben Sie den Befehl ein, um eine Suchmaschine anzugeben:

     shandu search "künstliche intelligenz ethik" --engines "google,duckduckgo" --max-results 15
     

     • ---MotorenGoogle- und DuckDuckGo-Suche angeben.
     • --max-ergebnisse 15: Begrenzen Sie die Anzahl der zurückgegebenen Ergebnisse auf 15.
  2. Zeigen Sie eine Liste der zurückgegebenen Suchergebnisse an, die für spätere vertiefte Recherchen verwendet werden können.
• VerwendungsszenarienZugang zu verschiedenen Informationsquellen und Vermeidung von Einseitigkeit.

caveat

• NetzanforderungShandu ist auf eine Internetverbindung angewiesen, um ein stabiles Netzwerk zur Laufzeit zu gewährleisten.
• Einhaltung ethischer GrundsätzeBefolgen Sie beim Crawlen von Webseiten die robots.txt-Regeln der Zielseite, um zu vermeiden, dass häufige Anfragen zu einer IP-Sperre führen.
• LeistungsoptimierungKomplexe Studien können mehr Speicherplatz beanspruchen und sollten daher auf Geräten mit einer höheren Konfiguration (z. B. 8 GB+ RAM) ausgeführt werden.
• Debugging-ProblemeWenn ein Fehler auftritt, können Sie das Protokoll einsehen (standardmäßig gespeichert alsshandu.log) oder reichen Sie ein Issue bei GitHub ein.