Deep Searcher: эффективный поиск частных документов предприятия и интеллектуальные вопросы и ответы

Общее введение

Deep Searcher - это комбинация мощных больших языковых моделей (таких как DeepSeek и OpenAI) и векторные базы данных (например, Milvus) - это инструменты, предназначенные для поиска, оценки и рассуждений на основе частных данных, предоставляющие высокоточные ответы и исчерпывающие отчеты. Проект подходит для корпоративного управления знаниями, интеллектуальных систем вопросов и ответов и сценариев поиска информации. Deep Searcher поддерживает широкий спектр моделей встраивания и больших языковых моделей, а также умеет управлять векторными базами данных для обеспечения эффективного поиска и безопасного использования данных.

Список функций

• Поиск частных данных: Максимальное использование данных в бизнесе и обеспечение их безопасности.
• Управление векторной базой данных: Поддерживает векторные базы данных, такие как Milvus, позволяя разделять данные для более эффективного поиска.
• Гибкие возможности встраивания: Совместимость с несколькими моделями встраивания для легкого выбора оптимального варианта.
• Поддержка многоязычных моделей: Поддержка больших моделей, таких как DeepSeek, OpenAI и т. д., для интеллектуальных вопросов и ответов и генерации контента.
• Загрузчик документов: Поддерживается локальная загрузка файлов, а в будущем будет добавлена функция веб-ползания.

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/zilliztech/deep-searcher.git

2. Создайте виртуальную среду Python (рекомендуется):

   python3 -m venv .venv
source .venv/bin/activate

3. Установите зависимость:

   cd deep-searcher
pip install -e .

4. Настройка LLM или Milvus: редактировать examples/example1.py файл для настройки LLM или Milvus по мере необходимости.
5. Подготовьте данные и запустите пример:

   python examples/example1.py

Инструкция по применению

1. Настройка LLM: В deepsearcher.configuration используйте модуль set_provider_config Методы настройки LLM. Например, настройка модели OpenAI:

   config.set_provider_config("llm", "OpenAI", {"model": "gpt-4o"})

2. Загрузка локальных данных: Использование deepsearcher.offline_loading в модуле load_from_local_files метод для загрузки локальных данных:

   load_from_local_files(paths_or_directory="your_local_path")

3. Данные запроса: Использование deepsearcher.online_query в модуле query Методы запрашиваются:

   result = query("Write a report about xxx.")

Подробный порядок работы функций

1. Поиск частных данных::
   • Максимально эффективное использование данных в вашем бизнесе при обеспечении их безопасности.
   • При необходимости получения более точных ответов можно интегрировать онлайн-контент.
2. Управление векторной базой данных::
   • Поддерживает векторные базы данных, такие как Milvus, позволяя разбивать данные на разделы для повышения эффективности поиска.
   • В будущем планируется поддержка большего количества векторных баз данных (например, FAISS).
3. Гибкие возможности встраивания::
   • Совместимость с широким спектром встраиваемых моделей позволяет легко подобрать оптимальное решение.
4. Поддержка многоязычных моделей::
   • Поддержка больших моделей, таких как DeepSeek, OpenAI и т. д., для интеллектуальных вопросов и ответов и генерации контента.
5. Загрузчик документов::
   • Поддерживается локальная загрузка файлов, а в будущем будет добавлена функция веб-ползания.