AI Personal Learning
und praktische Anleitung
Ressource Empfehlung 1

Deep Research 技术盘点!比RAG更高级的LLM应用范式

OpenAI 的 Deep Research 工具横空出世后,各大厂商都推出了自研的 Deep Research 工具。所谓Deep Research,是和普通搜索比较的,简单的RAG检索生成一般只有一轮检索。然而Deep Research可以像人类一样,根据一个主题不断的检索,分析,再检索,再分析,直到达到研究目的。从这这个角度上讲,它本质上就是一个升级版的RAG应用,利用ReAct/Plan And Solve等模式构建的垂域 Agent,具备文章分解规划生成、资讯获取分析的能力。

原理上讲很简单,但想实现一个私有的满足自身业务需要的成品,其实际工程细节以及效果优化却相当复杂,因此,一些脚手架的项目或者成品的开发平台就显得尤为重要,这就和RAG一样,将会有越来越多的这样的开发框架出现。


今天,就介绍几款 Deep Research 开源实现,代表两种实现思路,一种是基于现有的编排框架实现,如Langchain Langgraph,另一种是针对deep research的特点专门设计开发 。通过它们不仅能够快速构建deep research应用,也能了解这些框架的实现细节以及具体的选型,比如用什么搜索,用什么存储,提示词是什么等等,这对于我们自己实现非常具有参考作用。

 

1. Langchain Open DeepResearch

它是LangChain官方的演示实现,基于 LangGraph 构建整个处理流程。通过集成多种 API,如 Tavily 、Perplexity,实现搜索和信息收集。用户可以设置每个章节的搜索深度,包括写作、反思、搜索和重写的迭代次数,同时可以对报告章节的计划提供反馈,并迭代至满意为止。

其使用到的Prompt:https://github.com/langchain-ai/open_deep_research/blob/main/src/open_deep_research/prompts.py

项目地址:https://github.com/langchain-ai/open_deep_research同类型的有Dify等框架编排的Deep Research应用。

 

2. Open Deep Research

Open Deep Research是众多垂域实现的一种。它解构了DeepSearch的过程,支持自动和半自动的Research过程。支持多种 API 接口,不仅能够检索外网信息,还能检索企业内部资料,进行汇总分析。用户可以根据需求选择不同的 AI 平台,包括 Google 、OpenAI 、Anthropic 、DeepSeek 等,甚至可以接入本地模型,实现个性化研究。

它包含了Deep ReSearch标准的的三个步骤:

  1. 搜索结果检索:通过 Google Custom Search 或Bing Search API(可配置)获取指定搜索词的全面搜索结果。
  2. 内容提取:利用 JinaAI 提取和处理选定的搜索结果内容,确保信息的准确性和相关性。
  3. 报告生成:使用用户选择的 AI 模型(如 Zwillinge 、GPT-4 、Sonnet 等)对整理好的搜索结果和提取的内容进行详细报告的生成,提供针对用户自定义提示的深入分析和见解。

以下是生成报告时使用的Prompt:

You are a research assistant tasked with creating a comprehensive report based on multiple sources. 
The report should specifically address this request: "${userPrompt}"
Your report should:
1. Have a clear title that reflects the specific analysis requested
2. Begin with a concise executive summary
3. Be organized into relevant sections based on the analysis requested
4. Use markdown formatting for emphasis, lists, and structure
5. Integrate information from sources naturally without explicitly referencing them by number
6. Maintain objectivity while addressing the specific aspects requested in the prompt
7. Compare and contrast the information from each source, noting areas of consensus or points of contention.
8. Showcase key insights, important data, or innovative ideas.
Here are the source articles to analyze:
${articles
.map(
(article) => `
Title: ${article.title}
URL: ${article.url}
Content: ${article.content}
---
`
)
.join('n')}
Format the report as a JSON object with the following structure:
{
"title": "Report title",
"summary": "Executive summary (can include markdown)",
"sections": [
{
"title": "Section title",
"content": "Section content with markdown formatting"
}
]
}
Use markdown formatting in the content to improve readability:
- Use **bold** for emphasis
- Use bullet points and numbered lists where appropriate
- Use headings and subheadings with # syntax
- Include code blocks if relevant
- Use > for quotations
- Use --- for horizontal rules where appropriate
Important: Do not use phrases like "Source 1" or "According to Source 2". Instead, integrate the information naturally into the narrative or reference sources by their titles when necessary.

生成的报告可以下载或者存储在知识库中,但它的高质量搜索源不足,缺乏Research验证和迭代过程,因此在质量上还有改进的空间,但整体过程清晰,很适合在此基础上不断改进完善。

项目地址:https://github.com/btahir/open-deep-research

 

同类型的还有:

https://github.com/nickscamara/open-deep-research  (4.3k)

https://github.com/mshumer/OpenDeepResearcher (2.2k)

https://github.com/assafelovic/gpt-researcher (19k)

https://github.com/zaidmukaddam/scira (6.4k)

https://github.com/jina-ai/node-DeepResearch (2.6k)

其中,node-DeepResearch 为jina的开源deep research实现,可以直接使用其api,和其他模型接口使用一样简单,可以快速集成到自己的应用中。

kurz

就如文章一开始提到,Deep Research是用户高质量获取内容的需求进化的结果,打破被动推荐的信息茧房,抛弃传统的搜索总结,再搜索再总结的低效过程,很好的通过自动化的方式来解决。按此方向发展,内容获取的模式将会有新的变化,这对于传统的搜索推荐都将会是巨大挑战。

 

Tools herunterladen
Darf nicht ohne Genehmigung vervielfältigt werden:Chef-KI-Austauschkreis " Deep Research 技术盘点!比RAG更高级的LLM应用范式

Chef-KI-Austauschkreis

Der Chief AI Sharing Circle konzentriert sich auf das KI-Lernen und bietet umfassende KI-Lerninhalte, KI-Tools und praktische Anleitungen. Unser Ziel ist es, den Nutzern dabei zu helfen, die KI-Technologie zu beherrschen und gemeinsam das unbegrenzte Potenzial der KI durch hochwertige Inhalte und den Austausch praktischer Erfahrungen zu erkunden. Egal, ob Sie ein KI-Anfänger oder ein erfahrener Experte sind, dies ist der ideale Ort für Sie, um Wissen zu erwerben, Ihre Fähigkeiten zu verbessern und Innovationen zu verwirklichen.

Kontaktieren Sie uns
de_DE_formalDeutsch (Sie)