Shandu: 여러 차례에 걸쳐 정보를 수집하고 분석하는 AI 리서치 자동화 도구

1.7K 00

일반 소개

샨두는 깃허브에서 호스팅되는 오픈소스 AI 기반 연구 시스템으로, 개발자 jolovicdev가 만들었습니다. 이 시스템은 LangChain과 LangGraph 기술을 기반으로 사용자에게 자동화되고 포괄적이며 효율적인 주제 연구 기능을 제공하도록 설계되었습니다. 기존의 단일 검색 도구와 달리 Shandu는 재귀적 탐색과 병렬 처리를 통해 정보를 더 깊이 파고들 수 있으며, 명령줄(CLI) 및 Python 인터페이스 작업을 지원합니다. 학술 연구, 기술 검색, 시장 분석 등 어떤 용도로 사용하든 복잡한 데이터를 빠르게 정리할 수 있으며, 웹 크롤링 기능이 내장되어 있어 다양한 출처에 윤리적으로 액세스할 수 있습니다. 이 프로젝트는 가볍고 무료로 사용할 수 있으며 개발자와 연구자를 위해 로컬에서 실행되는 것에 중점을 둔 OpenAI DeepResearch의 대안으로 사용됩니다.

기능 목록

자동화 심층 연구사용자가 입력한 쿼리를 기반으로 시스템이 자동으로 다단계 정보 마이닝을 수행하여 종합적인 연구 보고서를 생성합니다.
재귀적 탐색숨겨진 상관관계 정보를 발견하기 위해 반복적으로 검색하고 분석하여 연구를 점진적으로 확장합니다.
병렬 처리멀티 스레드 작업을 지원하여 여러 소스에서 동시에 데이터를 가져와 효율성을 향상시킵니다.
웹 크롤러페이지 콘텐츠를 추출하고 동적으로 렌더링되는 자바스크립트가 많은 웹사이트를 지원하는 크롤러가 내장되어 있습니다.
멀티 엔진 검색구글, 덕덕고 및 기타 검색 엔진을 통합하여 다양한 결과를 얻을 수 있습니다.
AI 기반 검색간단한 질문에 빠르게 답할 수 있는 경량 AI 검색 기능(aisearch)을 제공합니다.
보고서 생성연구 결과를 마크다운 형식의 파일로 정리하여 쉽게 읽고 공유할 수 있습니다.
유연한 구성다양한 요구에 맞게 검색 깊이, 범위 및 결과 수를 조정할 수 있도록 지원합니다.

도움말 사용

설치 프로세스

Shandu는 Python 기반 오픈 소스 프로젝트로, 로컬 환경에서 설치 및 구성해야 작동합니다. 자세한 설치 단계는 다음과 같습니다:

환경 준비
- 디바이스에 Python 3.8 이상이 설치되어 있는지 확인하세요. 다음 명령을 사용하여 이 작업을 수행할 수 있습니다. python --version 버전을 확인합니다.
- 프로젝트 코드 복제를 위한 Git 도구는 Windows 사용자의 경우 Git 웹사이트에서 다운로드하거나 Linux/Mac 사용자의 경우 패키지 관리자를 통해 설치할 수 있는 GitHub에서 설치합니다(예 sudo apt install git).
복제 프로젝트
- 터미널을 엽니다(Windows의 경우 CMD 또는 PowerShell, Mac/Linux의 경우 터미널).
- 다음 명령을 입력하여 Shandu 리포지토리를 복제합니다:
```
git clone https://github.com/jolovicdev/shandu.git
```
- 프로젝트 카탈로그로 이동합니다:
```
cd shandu
```
종속성 설치
- pip를 사용하여 프로젝트에 필요한 Python 라이브러리를 설치합니다:
```
pip install -e .
```
- 종속성 문제가 발생하면 pip를 업그레이드해 보세요(pip install --upgrade pip) 또는 가상 환경을 사용합니다:
```
python -m venv venv  
source venv/bin/activate  # Linux/Mac  
venv\Scripts\activate     # Windows  
pip install -e .
```
API 구성
- Shandu는 외부 서비스(예: 검색 엔진)를 호출하기 위해 API 키를 구성해야 합니다. 다음 명령을 실행하여 구성 모드로 들어갑니다:
```
shandu configure
```
- 메시지가 표시되면 API 키(예: Google API, DuckDuckGo API)를 입력합니다. 개발자는네비우스 스튜디오테스트용 무료 키를 받으세요.
설치 확인
- 가져오기 shandu --help를 실행하여 명령 도움말 메시지가 반환되면 설치에 성공한 것입니다.

기능 작동 흐름

1. 심층 연구 실행(연구 명령)

이것은 복잡한 주제에 대한 연구를 자동화하는 Shandu의 핵심 기능입니다.

절차::
1. 예를 들어 터미널에 조사 명령을 입력합니다:
```
shandu research "云计算的发展趋势" --depth 2 --breadth 4 --output report.md
```
  - --depth 2연구 깊이를 2단계로 설정합니다(재귀 탐색 2번).
  - --breadth 4탐색당 4개의 관련 주제를 펼칩니다.
  - --output report.md결과를 마크다운 파일로 저장합니다.
2. 시스템이 자동으로 검색 및 분석을 시작하며, 이 과정은 네트워크 및 주제 복잡성에 따라 몇 분 정도 소요될 수 있습니다.
  3. 완료되면report.md주제에 대한 개요, 주요 결과 및 참고 링크가 포함된 연구 보고서를 확인하세요.
사용 시나리오:: "의료 분야의 AI"와 같이 포괄적인 정보가 필요한 학술 연구 또는 기술 연구에 적합합니다.

2. 빠른 AI 검색(aisearch 명령어)

간단한 질문에 답하거나 즉각적인 답변을 얻을 때 사용합니다.

절차::
1. 예를 들어 빠른 검색 명령을 입력합니다:
```
shandu aisearch "当前美国的总统是谁？" --detailed
```
  - --detailed짧은 답변이 아닌 자세한 답변을 반환합니다.
2. 이 시스템은 AI 모델을 호출하여 "2025년 3월 3일 현재 미국 대통령은 도널드 트럼프이며, 2025년 1월 20일에 두 번째 임기가 시작됩니다."와 같은 결과를 반환합니다.
사용 시나리오역사적 사건, 인물 정보 등과 같은 사실에 빠르게 액세스하는 데 이상적입니다.

3. 웹 페이지 스크래핑(스크랩 명령)

특정 웹 페이지에서 콘텐츠를 추출하는 데 사용됩니다.

절차::
1. 예를 들어 캡처 명령을 입력합니다:
```
shandu scrape "https://example.com" --dynamic
```
  - --dynamic자바스크립트 기반 사이트에 동적 렌더링을 사용하도록 설정합니다.
2. 시스템은 추출된 텍스트 콘텐츠를 반환하며, 파이프를 통해 파일에 저장할 수 있습니다:
```
shandu scrape "https://example.com" --dynamic > output.txt
```
사용 시나리오뉴스 페이지, 기술 블로그 또는 공식 제품 웹사이트의 콘텐츠를 분석합니다.

4. 검색 엔진 구성하기

사용자는 검색 소스를 사용자 지정하여 결과를 최적화할 수 있습니다.

절차::
1. 검색 엔진을 지정하는 명령을 입력합니다:
```
shandu search "人工智能伦理" --engines "google,duckduckgo" --max-results 15
```
  - --engines: Google 및 DuckDuckGo 검색을 지정합니다.
  - --max-results 15반환되는 결과 수를 15개로 제한합니다.
2. 후속 심층 조사에 사용할 수 있는 반환된 검색 결과 목록을 확인합니다.
사용 시나리오다양한 정보 소스에 액세스하고 단일 엔진에 편향되지 않도록 합니다.

주의

네트워크 요구 사항Shandu는 런타임에 안정적인 네트워크를 보장하기 위해 인터넷 연결에 의존합니다.
윤리 규정 준수웹 페이지를 크롤링할 때 대상 사이트의 robots.txt 규칙을 준수하여 잦은 요청으로 인한 IP 차단을 방지하세요.
성능 최적화복잡한 연구는 더 많은 메모리를 차지할 수 있으므로 더 높은 구성(예: 8GB 이상의 RAM)의 장치에서 실행하는 것이 좋습니다.
문제 디버깅오류가 발생하면 로그(기본적으로 다음과 같이 저장됨)를 볼 수 있습니다.shandu.log) 또는 GitHub에서 이슈를 제출하세요.