DeepResearcher: управляемый ИИ на основе обучения с подкреплением для изучения сложных проблем

Общее введение

DeepResearcher - это проект с открытым исходным кодом, разработанный командой GAIR-NLP в Шанхайском университете Цзяо Тун. Это интеллектуальный исследовательский инструмент, основанный на больших языковых моделях (LLM), обученных в реальной сетевой среде с помощью обучения с подкреплением (RL). Цель проекта - помочь пользователям эффективно выполнять сложные исследовательские задачи. Он автоматически ищет информацию, проверяет точность данных и генерирует подробные результаты. DeepResearcher поддерживает 7B параметрических моделей и был открыт на Hugging Face. Код доступен на GitHub и подходит для исследователей, студентов и энтузиастов технологий.

Список функций

• Исследование автоматизации: При вводе вопроса автоматически выполняется поиск в Интернете и сопоставляется соответствующая информация.
• кросс-источниковая аутентификация: Проверка данных из нескольких источников (например, Google, Bing) для обеспечения достоверности результатов.
• Самостоятельная корректировка: Самооценка на основе результатов поиска и переориентация исследований для повышения точности.
• Разработка программы исследований: Автоматическое генерирование шагов исследования при решении сложных задач.
• Будьте честны.: Ограничения указываются прямо, когда невозможно найти однозначный ответ.
• Поддержка моделей с открытым исходным кодом: Предоставляется параметрическая модель 7B, которая может быть загружена и настроена пользователем.

Использование помощи

Установка и использование DeepResearcher требует определенных технических знаний, но в официальной документации даны четкие инструкции. Ниже приведены подробные шаги, которые помогут пользователям быстро приступить к работе.

Процесс установки

1. Репозиторий клонированного кода
   Выполните следующую команду в терминале, чтобы загрузить проект локально:

git clone https://github.com/GAIR-NLP/DeepResearcher.git

Перейдите в каталог проектов:

cd DeepResearcher

2. Создание виртуальной среды
   Используйте conda, чтобы создать отдельное окружение Python и избежать конфликтов зависимостей:

conda create -n deepresearcher python=3.10

Активируйте окружающую среду:

conda activate deepresearcher

3. Установка основных зависимостей
   Установите PyTorch и другие необходимые библиотеки, выполнив последовательно следующие команды из корневого каталога проекта:

pip3 install torch==2.4.0 --index-url https://download.pytorch.org/whl/cu124
pip3 install flash-attn --no-build-isolation
cd verl
pip3 install -e .
cd ../
pip3 install -r requirements.txt

Эти шаги обеспечивают наличие базовой среды, необходимой для работы модели.

4. Проверка установки
   Введите следующую команду, чтобы проверить, правильно ли установлен PyTorch:

python -c "import torch; print(torch.__version__)"

Если отображается номер версии (например, 2.4.0), установка прошла успешно.

Конфигурация и ввод в эксплуатацию

DeepResearcher использует фреймворк Ray для обучения и вывода, а также требует настройки службы поиска. Вот как это сделать.

Запуск службы Ray

1. Установка рейтинга узлов
   Введите в терминале следующую команду, чтобы задать номер узла (это необходимо, даже если машина одна):

export PET_NODE_RANK=0
ray start --head

2. Настройка служб поиска

• показать (билет) ./scrl/handler/config.yamlЕсли вы хотите изменить API-ключ поиска, вы можете сделать это, нажав на кнопку "Поиск":
  • Использование Serper API: заполните serper_api_key.
  • Используйте Azure Bing: заполните azure_bing_search_subscription_key и установить search_engine для Бинга.
• компилятор ./scrl/handler/server_handler.pyЕсли вы хотите добавить ключ API Qwen-Plus, добавьте ключ API Qwen-Plus:

  client = OpenAI(
  api_key="sk-xxx",
  base_url="xxxx"
  )
  

3. Запуск сервисного процессора
   Запускается в терминале:

python ./scrl/handler/server_handler.py

После запуска сервиса запишите адрес сервиса и обновите его. ./scrl/handler/config.yaml попал в точку server_url_list.

4. Запуск главного процессора
   Запускается на обучающем хосте:

python ./scrl/handler/handler.py

Модели обучения

1. Выполнение учебных сценариев
   Запустите его в корневом каталоге проекта:

bash train_grpo.sh

Процесс обучения оптимизирует модель на основе обучения с подкреплением и требует терпения.

Использование и обоснование

1. Получение результатов исследований
   Запустите сценарий оценки:

bash evaluate.sh

Выходной файл сохраняется в ./outputs/{project_name}/{experiment_name}/rollout/rollout_step_0.json.

2. Посмотреть результаты
   Переименуйте выходной файл в {experiment_name}_result.jsonПерейти к ./evaluate/ и запустите его:

python ./evaluate/cacluate_metrics.py {experiment_name}

Оценка сохраняется в ./evaluate/{experiment_name}_score.json.

Функциональное управление

• Автоматизированное исследование и проверка из разных источников
  После того как пользователь вводит вопрос, DeepResearcher собирает данные из настроенных поисковых систем (например, Google, Bing) и проводит перекрестную проверку результатов. Лог-файлы ./outputs/research_log.txt Процесс валидации будет документироваться.
• Самостоятельная корректировка
  Если первые результаты окажутся неудовлетворительными, система автоматически скорректирует ключевые слова или стратегию поиска. Например, если ввести "искусственный интеллект в здравоохранении", он может измениться на "новейшие медицинские технологии искусственного интеллекта", и результаты будут более точными.
• Будьте честны.
  Если на вопрос нет четкого ответа, вместо предположения он возвращает что-то вроде "Недостаточно информации для однозначного вывода".

предостережение

• Убедитесь, что ваше интернет-соединение стабильно и что функция поиска использует данные в режиме реального времени.
• Обучение и выводы требуют больших вычислительных ресурсов, поэтому рекомендуется использовать графические процессоры.
• Проект все еще находится в разработке, поэтому мы рекомендуем следить за обновлениями на GitHub.

Выполнив эти действия, пользователи смогут легко установить и использовать DeepResearcher, чтобы испытать его интеллектуальные исследовательские возможности.

сценарий применения

1. научные исследования
   Исследователи могут использовать его для поиска бумажных материалов, проверки источников и создания первых черновиков исследовательских отчетов.
2. Обучение студентов
   Студенты могут использовать его для систематизации знаний по курсу и быстрого выполнения заданий или исследований по проекту.
3. развитие технологий
   Разработчики могут использовать его для изучения технологических тенденций, получения обновлений и решений в отрасли.

QA

1. Поддерживает ли DeepResearcher китайский язык?
   Поддержка. Пользователи могут вводить вопросы на китайском языке, и программа будет отдавать предпочтение поиску китайских ресурсов, а также может обрабатывать данные на английском языке.
2. Нужен графический процессор?
   Не обязательно, но GPU может ускорить обучение и выводы. CPU тоже может это делать, просто медленнее.
3. Как получить последнюю версию?
   Запустите в каталоге проекта git pull, затем переустановите зависимости для обновления.