Deep Finder: проект с открытым исходным кодом для поиска глубоких выводов с использованием локальных знаний

Общее введение

Deep Searcher - это мощный инструмент, объединяющий большие языковые модели (LLM) и векторные базы данных, предназначенный для поиска, оценки и рассуждений на основе частных данных, предоставляющий высокоточные ответы и исчерпывающие отчеты. Он подходит для корпоративного управления знаниями, интеллектуальных систем вопросов и ответов и сценариев поиска информации. Deep Searcher поддерживает различные встроенные модели и большие языковые модели, такие как DeepSeek и OpenAI, а также максимально эффективно использовать внутренние данные, обеспечивая их безопасность. Она также поддерживает векторное управление базами данных, например Milvus, что позволяет разделить данные на части для более эффективного поиска.

Список функций

• Поиск частных данных: Максимальное использование данных в бизнесе и обеспечение их безопасности.
• Управление векторной базой данных: Поддерживает векторные базы данных, такие как Milvus, позволяя разделять данные для более эффективного поиска.
• Гибкие возможности встраивания: Совместимость с несколькими моделями встраиваемых устройств для оптимизации выбора.
• Поддержка многоязычных моделей: Поддержка больших моделей, таких как DeepSeek, OpenAI и т. д., для интеллектуальных вопросов и ответов и генерации контента.
• Загрузчик документов: Поддерживается локальная загрузка файлов и разрабатывается веб-ползание.
• Гибкость конфигурации: Пользователи могут настроить конфигурацию в соответствии со своими потребностями.

Использование помощи

Процесс установки

1. Посетите репозиторий Deep Searcher на GitHub.
2. Клонируйте репозиторий в локальный:

   git clone https://github.com/zilliztech/deep-searcher.git
   

3. Перейдите в каталог хранилища:

   cd deep-searcher
   

4. Установите зависимость:

   pip install -r requirements.txt
   

5. Настройте базу данных векторов (например, Milvus) и добавьте информацию о конфигурации в файл конфигурации проекта.

Руководство по использованию

1. Поиск частных данных::
   • Импорт внутренних данных предприятия в векторную базу данных.
   • Используйте функцию поиска Deep Searcher для поиска данных:

     from deepsearcher import DeepSearcher
     searcher = DeepSearcher(config)
     results = searcher.search(query)
     

2. Управление векторной базой данных::
   • Настройка и управление Milvus или другими базами данных векторов.
   • Используйте интерфейс, предоставляемый Deep Searcher, для разделения и управления данными.
3. Гибкие возможности встраивания::
   • Выберите подходящую модель внедрения, исходя из требований бизнеса.
   • Интеграция встроенных моделей с Deep Searcher для оптимального поиска.
4. Интеграция онлайн-контента::
   • Настройте источники онлайн-контента и объедините их с внутренними данными предприятия, чтобы получить более полные ответы.
   • Поиск и интеграция контента в режиме онлайн с помощью интерфейса Deep Searcher.
5. интеллектуальная система вопросов и ответов (Q&A)::
   • Создание интеллектуальной системы вопросов и ответов на основе корпоративных данных с помощью Deep Searcher.
   • Настройте базу знаний системы викторин, обучите и оптимизируйте ее.
6. поиск информации::
   • Используйте Deep Searcher для повышения эффективности поиска в различных сценариях поиска информации.
   • Настраивайте стратегии и алгоритмы поиска в соответствии с потребностями бизнеса.

пример кода (вычисления)

from deepsearcher import DeepSearcher
# 初始化 Deep Searcher
config = {
'vector_db': 'milvus',
'embedding_model': 'bert'
}
searcher = DeepSearcher(config)
# 搜索企业内部数据
query = "企业数据搜索"
results = searcher.search(query)
print(results)
# 整合在线内容
online_results = searcher.integrate_online_content(query)
print(online_results)