심층 연구 기술 인벤토리! RAG보다 더 진보된 LLM 애플리케이션의 패러다임

OpenAI의 딥 리서치 도구가 갑자기 등장한 후, 모든 주요 업체들이 자체 딥 리서치 도구를 출시했습니다. 소위 딥 리서치는 일반 검색과 비교되는데, 일반 검색은 단순한 RAG 검색을 통해 일반적으로 한 번만 검색을 수행합니다. 그러나 딥 리서치는 연구 목표에 도달할 때까지 사람처럼 주제에 따라 검색, 분석, 검색, 재분석을 반복할 수 있습니다. 이러한 관점에서 볼 때, 딥 리서치는 기본적으로 문서 분해 계획 및 생성, 정보 수집 및 분석 기능을 갖춘 펜던트 도메인 에이전트의 ReAct/Plan And Solve 및 기타 구성 모드의 사용, RAG 애플리케이션의 업그레이드 버전입니다.

원칙적으로는 매우 간단하지만 완제품의 자체 비즈니스 요구 사항을 충족하기 위해 개인을 달성하고 싶다면 실제 엔지니어링 세부 사항과 최적화의 효과는 매우 복잡하므로 프로젝트 또는 완제품 개발 플랫폼의 일부 비계가 특히 중요하며 RAG와 마찬가지로 이러한 개발 프레임 워크가 점점 더 많이 등장 할 것입니다.

오늘, 몇 가지 딥 리서치 오픈 소스 구현을 소개하면서 두 가지 구현 아이디어를 대신하여 하나는 Langchain Langgraph와 같은 기존 오케스트레이션 프레임 워크 구현을 기반으로하고 다른 하나는 딥 리서치 개발의 특성을 위해 특별히 설계되었습니다. 이를 통해 심층 연구 애플리케이션을 신속하게 구축 할 수있을뿐만 아니라 이러한 프레임 워크 구현의 세부 사항과 검색 할 항목, 스토리지 사용, 프롬프트 단어 등과 같은 특정 선택을 이해할 수 있으며 이는 참조 역할의 자체 구현에 매우 유용합니다.

1. 랭체인 오픈 딥리서치

이것은 LangChain의 공식 데모 구현입니다. LangGraph 전체 처리 흐름을 구축하세요. 다음과 같은 여러 API를 통합하여 Tavily 를 통해 검색 및 정보 수집이 가능합니다. 사용자는 작성, 반영, 검색 및 재작성의 반복 횟수를 포함하여 각 장의 검색 깊이를 설정하고 보고서 장의 계획에 대한 피드백을 제공하고 만족할 때까지 반복할 수 있습니다.

사용된 프롬프트: https://github.com/langchain-ai/open_deep_research/blob/main/src/open_deep_research/prompts.py

프로젝트 주소: https://github.com/langchain-ai/open_deep_research同类型的有Dify等框架编排的Deep 연구 신청서.

2. 딥 리서치 열기

오픈 딥 리서치는 여러 배관 구현 중 하나입니다. 이는 딥서치 프로세스를 해체하고 자동 및 반자동 리서치 프로세스를 지원합니다. 다양한 API 인터페이스를 지원하여 엑스트라넷에서 정보를 검색할 수 있을 뿐만 아니라 요약 분석을 위해 기업 내부 정보도 검색할 수 있습니다. 사용자는 필요에 따라 Google, OpenAI, Anthropic, DeepSeek 등 다양한 AI 플랫폼을 선택할 수 있으며, 로컬 모델에 액세스하여 개인화된 리서치를 수행할 수도 있습니다.

여기에는 딥 리서치 표준의 3단계가 포함되어 있습니다:

1. 검색 결과 검색: Google 맞춤 검색 또는 Bing 검색 API(구성 가능)를 통해 지정된 검색어에 대한 종합적인 검색 결과를 얻을 수 있습니다.
2. 콘텐츠 추출: JinaAI는 정보의 정확성과 관련성을 보장하기 위해 선택한 검색 결과의 콘텐츠를 추출하고 처리하는 데 사용됩니다.
3. 보고서 생성: 사용자가 선택한 AI 모델 사용(예 쌍둥이자리 (GPT-4, Sonnet 등)는 수집된 검색 결과와 추출된 콘텐츠에 대한 상세 보고서를 생성하여 사용자 정의 프롬프트에 대한 심층적인 분석과 인사이트를 제공합니다.

아래는 보고서를 생성하는 데 사용되는 프롬프트입니다:

You are a research assistant tasked with creating a comprehensive report based on multiple sources. 
The report should specifically address this request: "${userPrompt}"
Your report should:
1. Have a clear title that reflects the specific analysis requested
2. Begin with a concise executive summary
3. Be organized into relevant sections based on the analysis requested
4. Use markdown formatting for emphasis, lists, and structure
5. Integrate information from sources naturally without explicitly referencing them by number
6. Maintain objectivity while addressing the specific aspects requested in the prompt
7. Compare and contrast the information from each source, noting areas of consensus or points of contention.
8. Showcase key insights, important data, or innovative ideas.
Here are the source articles to analyze:
${articles
.map(
(article) => `
Title: ${article.title}
URL: ${article.url}
Content: ${article.content}
---
`
)
.join('n')}
Format the report as a JSON object with the following structure:
{
"title": "Report title",
"summary": "Executive summary (can include markdown)",
"sections": [
{
"title": "Section title",
"content": "Section content with markdown formatting"
}
]
}
Use markdown formatting in the content to improve readability:
- Use **bold** for emphasis
- Use bullet points and numbered lists where appropriate
- Use headings and subheadings with # syntax
- Include code blocks if relevant
- Use > for quotations
- Use --- for horizontal rules where appropriate
Important: Do not use phrases like "Source 1" or "According to Source 2". Instead, integrate the information naturally into the narrative or reference sources by their titles when necessary.

생성된 보고서는 다운로드하거나 지식창고에 저장할 수 있지만 고품질 검색 소스가 부족하고 연구 검증 및 반복 프로세스가 부족하여 아직 품질 개선의 여지가 있지만 전반적인 프로세스는 명확하고 지속적인 개선과 개선의 토대 위에 구축하기에 적합합니다.

프로젝트 주소: https://github.com/btahir/open-deep-research

동일한 유형도 사용할 수 있습니다:

https://github.com/nickscamara/open-deep-research (4.3k)

https://github.com/mshumer/OpenDeepResearcher (2.2k)

https://github.com/assafelovic/gpt-researcher (19k)

https://github.com/zaidmukaddam/scira (6.4k)

https://github.com/jina-ai/node-DeepResearch (2.6k)

그중에서도 jina의 오픈 소스 딥 리서치 구현을 위한 node-DeepResearch는 해당 API를 직접 사용할 수 있으며, 다른 모델 인터페이스는 사용이 간단하여 자체 애플리케이션에 빠르게 통합할 수 있습니다.

짧은

글의 서두에서 언급했듯이 딥 리서치는 콘텐츠에 대한 고품질 액세스에 대한 사용자의 요구가 진화하면서 수동적 추천의 정보 고치를 깨고 기존의 검색과 요약, 그리고 검색과 요약의 비효율적인 프로세스를 자동화를 통해 잘 정리한 결과물입니다. 이러한 발전 방향에 따라 콘텐츠 획득 방식은 새로운 변화를 맞이하게 될 것이며, 이는 기존 검색 추천에 큰 도전이 될 것입니다.