딥 파인더: 로컬 지식을 이용한 심층 추론 검색을 위한 오픈 소스 프로젝트

일반 소개

Deep Searcher는 대규모 언어 모델(LLM)과 벡터 데이터베이스를 결합한 강력한 도구로, 개인 데이터를 기반으로 검색, 평가 및 추론하여 매우 정확한 답변과 종합 보고서를 제공하도록 설계되었습니다. 엔터프라이즈 지식 관리, 지능형 Q&A 시스템 및 정보 검색 시나리오에 적합하며, 다음과 같은 다양한 임베디드 모델과 대규모 언어 모델을 지원합니다. DeepSeek 및 OpenAI를 지원하며, 데이터 보안을 보장하면서 내부 데이터의 활용을 극대화합니다. 또한 데이터를 파티셔닝하여 보다 효율적으로 검색할 수 있는 Milvus와 같은 벡터 데이터베이스 관리도 지원합니다.

기능 목록

개인 데이터 검색비즈니스 내 데이터 활용을 극대화하고 데이터 보안을 보장합니다.
벡터 데이터베이스 관리Milvus와 같은 벡터 데이터베이스를 지원하여 데이터를 분할하여 보다 효율적으로 검색할 수 있습니다.
유연한 임베딩 옵션여러 임베디드 모델과 호환되어 선택의 폭을 최적화합니다.
다국어 모델 지원스마트 Q&A 및 콘텐츠 생성을 위해 DeepSeek, OpenAI 등과 같은 빅 모델을 지원합니다.
문서 로더로컬 파일 로딩이 지원되며 웹 크롤링이 개발 중입니다.
구성 유연성: 사용자는 필요에 따라 구성을 사용자 지정할 수 있습니다.

도움말 사용

설치 프로세스

딥서치 GitHub 리포지토리를 방문하세요.

리포지토리를 로컬에 복제합니다:

git clone https://github.com/zilliztech/deep-searcher.git

리포지토리 카탈로그로 이동합니다:
```
cd deep-searcher
```
종속성을 설치합니다:
```
pip install -r requirements.txt
```
벡터 데이터베이스(예: Milvus)를 구성하고 프로젝트 구성 파일에 구성 정보를 추가합니다.

사용 가이드라인

개인 데이터 검색::
- 기업 내부 데이터를 벡터 데이터베이스로 가져오기.
- 딥 서처의 검색 기능을 사용하여 데이터를 검색하세요:
```
from deepsearcher import DeepSearcher
searcher = DeepSearcher(config)
results = searcher.search(query)
```
벡터 데이터베이스 관리::
- Milvus 또는 기타 벡터 데이터베이스를 구성하고 관리합니다.
- 데이터 파티셔닝 및 관리를 위해 Deep Searcher에서 제공하는 인터페이스를 사용하세요.
유연한 임베딩 옵션::
- 비즈니스 요구사항에 따라 적절한 임베딩 모델을 선택하세요.
- 임베디드 모델을 딥 서처와 통합하여 최적의 검색을 구현하세요.
온라인 콘텐츠 통합::
- 온라인 콘텐츠 소스를 구성하고 이를 기업 내부 데이터와 결합하여 보다 포괄적인 답변을 제공하세요.
- 온라인 콘텐츠 검색 및 통합을 위해 Deep Searcher의 인터페이스를 사용하세요.
지능형 질문 및 답변 시스템(Q&A)::
- 딥 서처를 사용하여 기업 데이터를 기반으로 지능형 Q&A 시스템을 구축합니다.
- 퀴즈 시스템의 지식창고를 구성하고 이를 교육 및 최적화하세요.
정보 검색::
- 다양한 정보 검색 시나리오에서 검색 효율성을 개선하려면 심층 검색기를 사용하세요.
- 비즈니스 요구사항에 따라 검색 전략과 알고리즘을 맞춤 설정하세요.

샘플 코드(컴퓨팅)

from deepsearcher import DeepSearcher
# 初始化 Deep Searcher
config = {
'vector_db': 'milvus',
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# 搜索企业内部数据
query = "企业数据搜索"
results = searcher.search(query)
print(results)
# 整合在线内容
online_results = searcher.integrate_online_content(query)
print(online_results)