Инвентарь технологий глубоких исследований! Парадигма для приложений LLM, более продвинутая, чем RAGs

После появления инструмента глубокого исследования OpenAI все крупные производители запустили свои собственные инструменты глубокого исследования. Так называемые глубокие исследования сравнивают с обычным поиском, где простой поиск по RAG обычно дает только один раунд поиска. Однако Deep Research может искать, анализировать, извлекать и снова анализировать информацию по теме, подобно человеку, пока не достигнет цели исследования. С этой точки зрения, по сути, это усовершенствованная версия приложения RAG, использование ReAct/Plan And Solve и других режимов построения агента домена pendant, с возможностями планирования и генерации декомпозиции статей, сбора и анализа информации.

В принципе, это очень просто, но если вы хотите добиться частного удовлетворения собственных бизнес-потребностей в готовом продукте, фактические инженерные детали, а также эффект оптимизации довольно сложны, поэтому некоторые строительные леса проекта или платформы разработки готового продукта особенно важны, что и RAG, будет появляться все больше и больше таких рамок разработки.

Сегодня, на введение нескольких Deep Research с открытым исходным кодом реализации, от имени двух идей реализации, одна основана на существующей реализации оркестровки рамки, такие как Langchain Langgraph, другой специально разработан для особенностей глубоких исследований развития. С их помощью можно не только быстро создавать приложения для глубоких исследований, но и понять детали реализации этих фреймворков и конкретного выбора, например, что искать, что использовать хранилище, что такое подсказка слова и т.д., что очень полезно для нашей собственной реализации эталонной роли.

1. Langchain Open DeepResearch

Это официальная демонстрационная реализация LangChain, основанная на LangGraph Создайте весь поток обработки. Благодаря интеграции нескольких API, таких как Tavily , Perplexity, позволяя осуществлять поиск и сбор информации. Пользователи могут задавать глубину поиска для каждой главы, включая количество итераций для написания, обдумывания, поиска и переписывания, а также давать обратную связь по плану для главы отчета и повторять его до тех пор, пока он не будет удовлетворен.

Использованный запрос: https://github.com/langchain-ai/open_deep_research/blob/main/src/open_deep_research/prompts.py

Адрес проекта: https://github.com/langchain-ai/open_deep_research同类型的有Dify等框架编排的Deep Заявка на исследование.

2. Открытое глубокое исследование

Open Deep Research - это одна из многих реализаций сантехнического оборудования. Она деконструирует процесс DeepSearch и поддерживает автоматические и полуавтоматические процессы исследования. Поддерживая разнообразные API-интерфейсы, он способен не только получать информацию из экстрасети, но и извлекать внутреннюю информацию предприятия для сводного анализа. Пользователи могут выбирать различные платформы ИИ в соответствии со своими потребностями, включая Google, OpenAI, Anthropic, DeepSeek и т. д., и даже получать доступ к локальным моделям для проведения персонализированных исследований.

Он содержит три этапа стандарта Deep ReSearch:

1. Получение результатов поиска: Получение комплексных результатов поиска по заданным поисковым запросам через Google Custom Search или Bing Search API (настраивается).
2. Извлечение содержимого: JinaAI используется для извлечения и обработки содержимого выбранных результатов поиска, чтобы обеспечить точность и релевантность информации.
3. Формирование отчетов: использование выбранных пользователем моделей ИИ (например. Близнецы (GPT-4, Sonnet и др.) генерирует подробные отчеты о сопоставленных результатах поиска и извлеченном контенте, обеспечивая глубокий анализ и понимание по заданным пользователем запросам.

Ниже приведена подсказка, используемая для создания отчета:

You are a research assistant tasked with creating a comprehensive report based on multiple sources. 
The report should specifically address this request: "${userPrompt}"
Your report should:
1. Have a clear title that reflects the specific analysis requested
2. Begin with a concise executive summary
3. Be organized into relevant sections based on the analysis requested
4. Use markdown formatting for emphasis, lists, and structure
5. Integrate information from sources naturally without explicitly referencing them by number
6. Maintain objectivity while addressing the specific aspects requested in the prompt
7. Compare and contrast the information from each source, noting areas of consensus or points of contention.
8. Showcase key insights, important data, or innovative ideas.
Here are the source articles to analyze:
${articles
.map(
(article) => `
Title: ${article.title}
URL: ${article.url}
Content: ${article.content}
---
`
)
.join('n')}
Format the report as a JSON object with the following structure:
{
"title": "Report title",
"summary": "Executive summary (can include markdown)",
"sections": [
{
"title": "Section title",
"content": "Section content with markdown formatting"
}
]
}
Use markdown formatting in the content to improve readability:
- Use **bold** for emphasis
- Use bullet points and numbered lists where appropriate
- Use headings and subheadings with # syntax
- Include code blocks if relevant
- Use > for quotations
- Use --- for horizontal rules where appropriate
Important: Do not use phrases like "Source 1" or "According to Source 2". Instead, integrate the information naturally into the narrative or reference sources by their titles when necessary.

Сформированный отчет можно загрузить или сохранить в базе знаний, но в нем недостаточно качественных источников поиска и отсутствуют процессы проверки и итерации исследований, поэтому качество еще можно улучшить, но в целом процесс понятен и хорошо подходит для постоянного совершенствования и доработки на этой основе.

Адрес проекта: https://github.com/btahir/open-deep-research

В наличии также имеется такой же тип:

https://github.com/nickscamara/open-deep-research (4.3k)

https://github.com/mshumer/OpenDeepResearcher (2.2k)

https://github.com/assafelovic/gpt-researcher (19k)

https://github.com/zaidmukaddam/scira (6.4k)

https://github.com/jina-ai/node-DeepResearch (2.6k)

Среди них node-DeepResearch для реализации глубоких исследований с открытым исходным кодом от jina, вы можете напрямую использовать его api, а другие интерфейсы моделей так же просты в использовании, вы можете быстро интегрировать их в собственные приложения.

короткие

Как уже говорилось в начале статьи, Deep Research - это результат эволюции пользовательского спроса на качественный доступ к контенту, разрушение информационного кокона пассивных рекомендаций, отказ от традиционного поиска и резюме, а затем поиска и резюме, неэффективного процесса, хорошо поддающегося автоматизации. В соответствии с этим направлением развития, режим приобретения контента претерпит новые изменения, что станет большим вызовом для традиционных поисковых рекомендаций.