Shandu: инструмент автоматизации исследований с искусственным интеллектом для сбора и анализа информации в несколько раундов

Общее введение

Shandu - это исследовательская система с открытым исходным кодом на основе ИИ, размещенная на GitHub и созданная разработчиком jolovicdev. В ней используются LangChain и LangGraph Технология, разработанная для предоставления пользователям автоматизированных, комплексных и эффективных возможностей исследования предметов. В отличие от традиционных однопоисковых инструментов, Shandu способен углубляться в информацию благодаря рекурсивному поиску и параллельной обработке, а также поддерживает работу с командной строкой (CLI) и интерфейсом Python. Будь то академические исследования, поиск технологий или анализ рынка, Shandu может использоваться для быстрой организации сложных данных и имеет встроенную функциональность веб-ползания для обеспечения этичного доступа к разнообразным источникам. Проект служит альтернативой OpenAI DeepResearch, делая акцент на легкости, бесплатности использования и локальном управлении для разработчиков и исследователей.

Список функций

• Углубленное изучение автоматизации: На основе запросов, введенных пользователем, система автоматически выполняет многоуровневый поиск информации для создания комплексных исследовательских отчетов.
• Рекурсивное исследование: Постепенно расширяйте исследование путем итеративного поиска и анализа, чтобы найти скрытую ассоциативную информацию.
• параллельная обработка: Поддержка многопоточных операций для одновременного получения данных из нескольких источников для повышения эффективности.
• веб-гусеница: Встроенный краулер, который извлекает содержимое страниц и поддерживает динамически отображаемые сайты с большим количеством JavaScript.
• Многомоторный поиск: Интеграция с Google, DuckDuckGo и другими поисковыми системами для получения разнообразных результатов.
• Поиск на основе искусственного интеллекта: Предоставляет легкую функцию поиска ИИ (aisearch) для быстрого ответа на простые вопросы.
• Формирование отчетов: Организуйте результаты исследований в файлы формата Markdown для удобства чтения и обмена.
• Гибкая конфигурация: Поддержка настройки глубины, ширины и количества результатов поиска для удовлетворения различных потребностей.

Использование помощи

Процесс установки

Shandu - это проект с открытым исходным кодом на базе Python, который для работы необходимо установить и настроить в локальной среде. Ниже приведены подробные шаги по установке:

1. Подготовка к защите окружающей среды
   • Убедитесь, что на вашем устройстве установлен Python 3.8 или выше. Это можно сделать с помощью команды python --version Проверьте версию.
   • Установите инструмент Git для клонирования кода проекта с GitHub, который можно загрузить с сайта Git для пользователей Windows или установить через менеджер пакетов для пользователей Linux/Mac (например. sudo apt install git).
2. проект клонирования
   • Откройте терминал (CMD или PowerShell для Windows, Terminal для Mac/Linux).
   • Введите следующую команду, чтобы клонировать репозиторий Shandu:

     git clone https://github.com/jolovicdev/shandu.git
     

   • Перейдите в каталог проектов:

     cd shandu
     

3. Установка зависимостей
   • Используйте pip для установки библиотек Python, необходимых для проекта:

     pip install -e .
     

   • Если у вас возникли проблемы с зависимостями, попробуйте обновить pip (pip install --upgrade pip) или использовать виртуальную среду:

     python -m venv venv  
     source venv/bin/activate  # Linux/Mac  
     venv\Scripts\activate     # Windows  
     pip install -e .
     

4. Настройка API
   • Shandu необходимо настроить API-ключ для вызова внешних сервисов (например, поисковой системы). Выполните следующую команду, чтобы войти в режим конфигурирования:

     shandu configure
     

   • Введите ключ API (например, Google API, DuckDuckGo API), когда появится запрос. Разработчики могут обратиться кСтудия NebiusПолучите бесплатный ключ для тестирования.
5. Проверка установки
   • импорт shandu --helpЕсли возвращается сообщение о помощи команды, значит, установка прошла успешно.

Функции Поток операций

1. проведите глубокое исследование (исследовательская команда)

Это основная функция Shandu для автоматизации исследований по сложным темам.

• процедура::
  1. Введите в терминале команду research, например:

     shandu research "云计算的发展趋势" --depth 2 --breadth 4 --output report.md
     

     • --depth 2: Установите глубину исследования на 2 уровня (рекурсивное исследование 2 раза).
     • --breadth 4: Разверните 4 связанные темы для исследования.
     • --output report.md: Сохраните результат в формате Markdown.
  2. Система автоматически инициирует поиск и анализ - процесс, который может занять несколько минут (в зависимости от сети и сложности темы).
     3. После завершения откройтеreport.mdОзнакомьтесь с отчетом об исследовании, в котором содержится обзор темы, основные выводы и ссылки.
• Сценарии использования:: Подходит для академических или технических исследований, требующих исчерпывающей информации, таких как "ИИ в здравоохранении".

2. Быстрый поиск ИИ (команда aisearch)

Используйте для ответов на простые вопросы или получения мгновенных ответов.

• процедура::
  1. Введите команду быстрого поиска, например:

     shandu aisearch "当前美国的总统是谁？" --detailed
     

     • --detailed: Отвечайте подробно, а не коротко.
  2. Система вызовет модель искусственного интеллекта, которая выдаст такие результаты, как "По состоянию на 3 марта 2025 года президентом Соединенных Штатов является Дональд Трамп, который начинает свой второй срок 20 января 2025 года".
• Сценарии использования: Идеально подходит для быстрого доступа к фактам, таким как исторические события, информация о людях и т.д.

3. скраппинг веб-страниц (команда scrape)

Используется для извлечения содержимого определенной веб-страницы.

• процедура::
  1. Введите команду захвата, например:

     shandu scrape "https://example.com" --dynamic
     

     • --dynamic: Включите динамический рендеринг для сайтов на JavaScript.
  2. Система возвращает извлеченный текстовый контент, который можно сохранить в файл по каналу связи:

     shandu scrape "https://example.com" --dynamic > output.txt
     

• Сценарии использования: Анализируйте содержание новостных страниц, технических блогов или официальных веб-сайтов продуктов.

4. Настройка поисковой системы

Пользователи могут настраивать источники поиска, чтобы оптимизировать результаты.

• процедура::
  1. Введите команду, чтобы указать поисковую систему:

     shandu search "人工智能伦理" --engines "google,duckduckgo" --max-results 15
     

     • --engines: Укажите поисковые запросы Google и DuckDuckGo.
     • --max-results 15: Ограничьте количество возвращаемых результатов до 15.
  2. Просмотрите список результатов поиска, которые можно использовать для последующего углубленного исследования.
• Сценарии использованияДоступ к различным источникам информации и избежание предвзятого отношения к одному двигателю.

предостережение

• сетевые требованияShandu полагается на подключение к Интернету, чтобы обеспечить стабильную работу сети во время выполнения.
• Соблюдение этических норм: Соблюдайте правила robots.txt целевого сайта при просмотре веб-страниц, чтобы избежать частых запросов, приводящих к блокировке IP-адреса.
• оптимизация производительности: Сложные исследования могут занимать больше памяти, поэтому их рекомендуется проводить на устройствах с более высокой конфигурацией (например, 8 ГБ+ ОЗУ).
• Проблемы отладки: Если вы столкнулись с ошибкой, вы можете просмотреть журнал (сохраненный по умолчанию какshandu.log) или отправьте заявку на GitHub.