OpenDeepResearcher: автоматизированный инструмент для написания полных исследовательских отчетов

Общее введение

OpenDeepResearcher - это автоматизированный инструмент глубоких исследований с открытым исходным кодом, предназначенный для повышения эффективности исследований с помощью методов искусственного интеллекта. Проект разработан mshumer и размещен на GitHub. OpenDeepResearcher использует различные сервисы и технологии, включая SERPAPI, Jina и OpenRouter, для выполнения поиска в Google, извлечения веб-контента и контекстного анализа. Его основная функция - постоянная оптимизация поисковых запросов с помощью итеративного цикла исследования, пока система не будет уверена, что собрала всю необходимую информацию. Инструмент также поддерживает асинхронную обработку, итеративную фильтрацию и принятие решений на основе LLM, обеспечивая эффективность и комплексность процесса исследования.

Список функций

• Цикл итеративных исследований: Система оптимизирует поисковый запрос в течение нескольких итераций, чтобы обеспечить полный сбор информации.
• асинхронная обработка: Поиск, извлечение веб-страниц, оценка и контекстное извлечение выполняются одновременно для увеличения скорости.
• дублирующий фильтр: Агрегирование и удаление дубликатов ссылок в каждой итерации, чтобы избежать дублирования обработки одних и тех же ссылок.
• LLM Driving Decisions: Генерация новых поисковых запросов, определение полезности страниц, извлечение релевантного контекста и создание итоговых отчетов с использованием большой языковой модели.
• Интерфейс Gradio: Обеспечьте функциональный пользовательский интерфейс, который прост в использовании.

Использование помощи

Процесс установки

1. Клонируйте или откройте ноутбук: Скачайте файл с записной книжкой или прямо на сайте Google Colab Открыто в.
2. Установите гнездоasyncio: Запустите первую ячейку, чтобы создать гнездо.asyncio.
3. Настройка ключей API: Заменяет значения-заполнители в блокноте на реальный ключ API, включая OPENROUTERAPIКЛЮЧ, СЕРПАПИAPIКЕЙ и ДЖИНАAPIКЕЙ.

Этапы использования

1. Бегущие клетки ноутбука: Выполнить все ячейки последовательно. Блокнот запрашивает исследовательский запрос/тему и необязательное максимальное количество итераций (по умолчанию 10).
2. Формирование первоначального запроса и поиска: Блокнот использует LLM для генерации начального поискового запроса.
3. Асинхронный поиск и извлечение: Параллельно выполняйте поиск по SERPAPI, собирая уникальные ссылки и параллельно обрабатывая каждую ссылку для определения полезности страницы и извлечения релевантного контекста.
4. Итеративная оптимизация: После каждого раунда LLM анализирует контекст агрегации и решает, нужны ли дальнейшие поисковые запросы.
5. Составление окончательного отчета: Как только LLM показывает, что дальнейшее исследование больше не требуется (или достигнут лимит итераций), на основе всех собранных контекстов составляется итоговый отчет.
6. Посмотреть итоговый отчет: Окончательный отчет о синтезе будет напечатан в выходных данных.

Подробная процедура работы

• Ввод и формирование запросов: Пользователь вводит тему исследования, и LLM генерирует до четырех различных поисковых запросов.
• Одновременный поиск и обработка: Каждый поисковый запрос отправляется в SERPAPI одновременно.
• снятие веса: Агрегирование и удаление дубликатов всех найденных ссылок в текущей итерации.
• контекстное извлечениеОбработка каждой ссылки для определения полезности страницы и извлечения релевантного контекста.
• Итеративная оптимизация: Анализ контекста агрегации и принятие решения о необходимости дальнейших поисковых запросов.
• Формирование окончательного отчета: Создайте окончательный сводный отчет на основе всех контекстов сбора.