Shandu : un outil d'automatisation de la recherche en IA pour la collecte et l'analyse d'informations en plusieurs étapes

Introduction générale

Shandu est un système de recherche open source basé sur l'IA, hébergé sur GitHub et créé par le développeur jolovicdev. Il utilise LangChain et LangGraph Shandu est une technologie de pointe, conçue pour fournir aux utilisateurs des capacités de recherche automatisées, complètes et efficaces. Contrairement aux outils traditionnels de recherche unique, Shandu est capable de creuser plus profondément dans l'information grâce à l'exploration récursive et au traitement parallèle, et prend en charge les opérations en ligne de commande (CLI) et l'interface Python. Qu'il s'agisse de recherche universitaire, de découverte technologique ou d'analyse de marché, Shandu peut être utilisé pour organiser rapidement des données complexes et dispose d'une fonctionnalité intégrée d'exploration du web pour garantir un accès éthique à un large éventail de sources. Le projet sert d'alternative à OpenAI DeepResearch, en mettant l'accent sur la légèreté, la gratuité et la gestion locale pour les développeurs et les chercheurs.

Liste des fonctions

• Etude approfondie de l'automatisationLe système est basé sur les requêtes saisies par l'utilisateur et effectue automatiquement une recherche d'informations à plusieurs niveaux afin de générer des rapports de recherche complets.
• Exploration récursiveLes résultats de l'étude sont progressivement étendus par une recherche et une analyse itératives afin de découvrir des informations cachées sur les corrélations.
• traitement parallèleLe système de gestion des données de l'entreprise : il prend en charge les opérations multithread pour obtenir des données à partir de plusieurs sources en même temps afin d'améliorer l'efficacité.
• robot d'explorationLe site Web de l'entreprise : un robot d'exploration intégré qui extrait le contenu des pages et prend en charge les sites Web à rendu dynamique et à forte teneur en JavaScript.
• Recherche multi-moteursIntégration de Google, DuckDuckGo et d'autres moteurs de recherche afin d'obtenir des résultats diversifiés.
• Recherche alimentée par l'IALe site web de l'Agence européenne pour l'environnement (AEE) : il propose une fonction de recherche d'IA légère (aisearch) pour répondre rapidement à des questions simples.
• Génération de rapportsLes résultats de la recherche sont organisés dans des fichiers au format Markdown pour faciliter la lecture et le partage des résultats.
• Configuration flexibleLes résultats de la recherche peuvent être ajustés en fonction de la profondeur, de l'étendue et du nombre de résultats afin de répondre à différents besoins.

Utiliser l'aide

Processus d'installation

Shandu est un projet open source basé sur Python qui doit être installé et configuré dans l'environnement local pour être utilisé. Voici les étapes détaillées de l'installation :

1. Préparation de l'environnement
   • Assurez-vous que Python 3.8 ou plus est installé sur votre appareil. Cela peut être fait avec la commande python --version Vérifier la version.
   • Installez l'outil Git pour cloner le code du projet à partir de GitHub, qui peut être téléchargé à partir du site web Git pour les utilisateurs Windows, ou installé via le gestionnaire de paquets pour les utilisateurs Linux/Mac (par ex. sudo apt install git).
2. projet de clonage
   • Ouvrez un terminal (CMD ou PowerShell pour Windows, Terminal pour Mac/Linux).
   • Entrez la commande suivante pour cloner le dépôt Shandu :

     git clone https://github.com/jolovicdev/shandu.git
     

   • Accédez au catalogue de projets :

     cd shandu
     

3. Installation des dépendances
   • Utilisez pip pour installer les bibliothèques Python nécessaires au projet :

     pip install -e .
     

   • Si vous rencontrez des problèmes de dépendance, essayez de mettre à jour pip (pip install --upgrade pip) ou utiliser un environnement virtuel :

     python -m venv venv  
     source venv/bin/activate  # Linux/Mac  
     venv\Scripts\activate     # Windows  
     pip install -e .
     

4. Configuration de l'API
   • Shandu doit configurer une clé API pour appeler des services externes (comme un moteur de recherche). Exécutez la commande suivante pour passer en mode configuration :

     shandu configure
     

   • Saisissez la clé API (par exemple, Google API, DuckDuckGo API) lorsque vous y êtes invité. Les développeurs peuvent se référer à la pageNebius StudioObtenez une clé gratuite pour tester.
5. Vérifier l'installation
   • importation shandu --helpSi le message d'aide de la commande est renvoyé, l'installation a réussi.

Fonction Opération Déroulement

1. mener une étude approfondie (commande de recherche)

Il s'agit de la fonction principale de Shandu, qui permet d'automatiser la recherche sur des sujets complexes.

• procédure: :
  1. Entrez la commande de recherche dans le terminal, par exemple :

     shandu research "云计算的发展趋势" --depth 2 --breadth 4 --output report.md
     

     • --depth 2: Définir la profondeur de l'étude à 2 niveaux (exploration récursive 2 fois).
     • --breadth 4Les thèmes de l'exploration sont les suivants : développer 4 thèmes liés à l'exploration.
     • --output report.mdEnregistrer le résultat sous la forme d'un fichier Markdown.
  2. Le système lance automatiquement une recherche et une analyse, un processus qui peut prendre quelques minutes (en fonction du réseau et de la complexité du sujet).
     3) Lorsque vous avez terminé, ouvrez lereport.mdConsulter le rapport de recherche, qui comprend une vue d'ensemble du sujet, les principaux résultats et des liens de référence.
• Scénarios d'utilisation: : Convient à la recherche universitaire ou aux études techniques qui nécessitent des informations complètes, telles que l'"IA dans les soins de santé".

2. recherche rapide d'IA (commande aisearch)

A utiliser pour répondre à des questions simples ou obtenir des réponses instantanées.

• procédure: :
  1. Entrez une commande de recherche rapide, par exemple :

     shandu aisearch "当前美国的总统是谁？" --detailed
     

     • --detailedLes réponses doivent être détaillées plutôt que brèves.
  2. Le système appellera le modèle d'IA pour obtenir des résultats tels que "Au 3 mars 2025, le président des États-Unis est Donald Trump, qui entamera son second mandat le 20 janvier 2025".
• Scénarios d'utilisationLe site Web de la Commission européenne : Idéal pour accéder rapidement à des faits, tels que des événements historiques, des informations sur des personnes, etc.

3. scraping de pages web (commande scrape)

Utilisé pour extraire le contenu d'une page web spécifique.

• procédure: :
  1. Entrez la commande de capture, par exemple :

     shandu scrape "https://example.com" --dynamic
     

     • --dynamicRendu dynamique : Permet le rendu dynamique pour les sites web basés sur JavaScript.
  2. Le système renvoie le contenu textuel extrait, qui peut être enregistré dans un fichier par le biais d'un tuyau :

     shandu scrape "https://example.com" --dynamic > output.txt
     

• Scénarios d'utilisationLes sites web des entreprises : Analyser le contenu des pages d'actualités, des blogs techniques ou des sites web officiels des produits.

4. configuration du moteur de recherche

Les utilisateurs peuvent personnaliser les sources de recherche pour optimiser les résultats.

• procédure: :
  1. Entrez la commande pour spécifier un moteur de recherche :

     shandu search "人工智能伦理" --engines "google,duckduckgo" --max-results 15
     

     • --enginesRecherche sur Google et DuckDuckGo : Spécifier les recherches sur Google et DuckDuckGo.
     • --max-results 15Limiter le nombre de résultats renvoyés à 15.
  2. Afficher une liste des résultats de la recherche qui peuvent être utilisés pour une recherche approfondie ultérieure.
• Scénarios d'utilisationAccès à diverses sources d'information et prévention des préjugés liés à un seul moteur.

mise en garde

• exigences en matière de réseauShandu s'appuie sur une connexion internet pour assurer la stabilité du réseau lors de l'exécution.
• Conformité éthiqueLes sites web de l'Union européenne sont des sites web de l'Union européenne et de l'Organisation mondiale du commerce (OMC).
• l'optimisation des performancesLes études complexes peuvent occuper plus de mémoire et il est recommandé de les exécuter sur des appareils dotés d'une configuration plus élevée (par exemple, 8 Go de RAM ou plus).
• Problèmes de débogageSi vous rencontrez une erreur, vous pouvez consulter le journal (enregistré par défaut sous le nom deshandu.log) ou soumettre un problème sur GitHub.