Danswer: ИИ-помощник для управления корпоративными знаниями и поиска документов, интегрирующий несколько рабочих инструментов

Общее введение

Danswer - это корпоративный ИИ-помощник с открытым исходным кодом для поиска документов, приложений и людей, предназначенный для обеспечения единого поиска и ответов на запросы на естественном языке с помощью интеллектуального чат-интерфейса и унифицированных возможностей поиска. При этом пользовательские данные и журналы чата полностью контролируются пользователем. Модульная конструкция и легкая масштабируемость делают его идеальным инструментом для управления знаниями и совместной работы команды.

В настоящее время переименована оникс , и рефакторингу подверглось подавляющее большинство функциональности.

Список функций

• Интерфейс чата: Диалог с документами, выбор конкретных документов для взаимодействия.
• Индивидуальный помощник с искусственным интеллектом: Создайте ИИ-помощников с различными советами и базами знаний.
• Поиск документов: Обеспечивает поиск документов и ответы искусственного интеллекта на запросы на естественном языке.
• Несколько разъемов: Поддерживает подключение к таким распространенным рабочим инструментам, как Google Drive, Confluence, Slack и др.
• Интеграция со Slack: Получайте ответы и результаты поиска прямо в Slack.
• аутентификация пользователя: Обеспечивает управление доступом на уровне документов.
• Управление ролями: Поддержка управления ролями для администраторов и обычных пользователей.
• Сохранение журналов чата: Сохраняйте журналы чата для последующих запросов.
• Конфигурация пользовательского интерфейса: Предоставляет пользовательский интерфейс для настройки ассистентов и подсказок искусственного интеллекта.
• мультимодальная поддержка: Поддержка диалога с изображениями, видео и т.д. (планируется).
• Вызов инструмента и настройка прокси-сервера: Обеспечивает вызовы инструментов и параметры конфигурации агента (планируется).

Использование помощи

Процесс установки

1. локальное развертывание::
   • Загрузите и установите Docker.
   • Клонируйте репозиторий Дансвера на GitHub.
   • Перейдите в каталог проекта в терминале и выполните командуdocker-compose upКомандуйте.
   • Откройте браузер и посетитеhttp://localhost:8000Начал использовать Danswer.
2. Развертывание облака::
   • Установите Docker на виртуальную машину.
   • Клонируйте репозиторий Дансвера на GitHub.
   • Перейдите в каталог проекта в терминале и выполните командуdocker-compose upКомандуйте.
   • Настройте доменное имя и SSL-сертификат для обеспечения безопасного доступа.
3. Развертывание Kubernetes::
   • Установите и настройте кластер Kubernetes.
   • Клонируйте репозиторий Дансвера на GitHub.
   • Найдите файл развертывания Kubernetes в каталоге проекта и выполните соответствующую команду kubectl для его развертывания.

Руководство по использованию

1. Интерфейс чата::
   • Откройте веб-приложение Danswer, войдите в систему и перейдите на экран чата.
   • Выберите документ, с которым вы хотите вести диалог, введите вопрос на естественном языке, и Danswer предоставит соответствующий ответ.
2. Индивидуальный помощник с искусственным интеллектом::
   • В интерфейсе администратора создайте нового помощника ИИ.
   • Настройте подсказки и базу знаний помощника и сохраните настройки.
   • Выберите различных помощников ИИ для общения на экране чата.
3. Поиск документов::
   • Введите в строку поиска запрос на естественном языке, и Danswer выдаст соответствующие документы и ответы, сгенерированные искусственным интеллектом.
   • Поддерживает фильтрацию и сортировку результатов поиска для быстрого нахождения нужной информации.
4. Интеграция со Slack::
   • Установите приложение Danswer в Slack.
   • Настройте подключение Danswer к Slack, чтобы разрешить доступ к соответствующим каналам.
   • Введите запрос прямо в Slack, и Danswer вернет результаты поиска и ответы.
5. Аутентификация пользователей и управление ролями::
   • Добавляйте пользователей и управляйте ими в интерфейсе администратора.
   • Настройте права доступа и роли пользователей для обеспечения безопасности данных.
6. Сохранение журналов чата::
   • Все чаты будут сохраняться автоматически, и пользователи смогут просматривать историю в любое время.
   • Поддерживает поиск и фильтрацию журналов чата, что позволяет легко находить прошлые разговоры.

Основные функции

• Эффективный поиск: Сочетание моделей встраивания BM-25 и префиксного встраивания для обеспечения оптимального гибридного поиска.
• Пользовательские модели: Поддержка пользовательских моделей глубокого обучения и обучения на основе отзывов пользователей.
• Несколько вариантов развертывания: Поддерживает локальное, облачное и Kubernetes развертывание, гибко адаптируясь к потребностям команд разного размера.
• мультимодальная поддержка: В будущих версиях будет поддерживаться диалог с изображениями, видео и т.д., чтобы повысить удобство использования.
• Вызов инструмента и настройка прокси-сервера: Обеспечивает гибкие возможности вызова инструментов и настройки агентов для удовлетворения потребностей различных команд.
• Понимание организационной структуры и экспертные консультации: Danswer сможет распознавать экспертов в команде и давать соответствующие советы для улучшения совместной работы.

Обзор системы

Объяснение различных компонентов и процессов системы

На этой странице рассказывается о том, как работает Danswer на самом высоком уровне. Цель - сделать наш дизайн более прозрачным. Таким образом, вы сможете чувствовать себя уверенно при использовании Danswer.

Если вы хотите настроить систему или стать участником проекта с открытым исходным кодом, это отличное место для начала.

архитектура системы

Независимо от того, развернут ли Danswer на одном экземпляре или на платформе оркестровки контейнеров, поток данных одинаков. Документы поступают и обрабатываются через коннекторы, а затем постоянно хранятся в Vespa/Postgres, работающих в системных контейнерах.

Единственный раз, когда конфиденциальные данные покидают вашу установку Danswer, - это когда она обращается к LLM для генерации ответа. Связь с LLM зашифрована. Сохранение данных в LLM API зависит от условий используемого вами хостинга LLM.

Мы также отмечаем, что у Danswer есть очень ограниченные и анонимизированные данные телеметрии, которые помогают нам улучшить систему, выявляя узкие места и ненадежные соединители данных. Вы можете отключить телеметрию, установив переменную окружения DISABLE_TELEMETRY в значение True.

встроенный поток

Каждый документ делится на более мелкие части, называемые "кусками".

Передавая LLM блоки вместо полного документа, мы можем уменьшить шум в модели, передавая только релевантные части документа. Кроме того, это значительно повышает экономическую эффективность, поскольку услуги LLM обычно оплачиваются за токен. Наконец, встраивая блоки вместо полных документов, мы можем сохранить больше деталей, поскольку каждое векторное вложение может кодировать только ограниченное количество информации.

Добавление микроблоков еще больше углубляет эту концепцию. Встраивая микроблоки разного размера, Danswer может извлекать высокоуровневый контекст и детали. Микроблоки также можно включать/выключать с помощью переменных окружения, поскольку генерация нескольких векторов на блок может замедлить индексацию документов в случае низкой производительности оборудования.

При выборе модели встраивания мы использовали новейший двойной кодировщик, который достаточно мал для работы на центральном процессоре и при этом сохраняет время поиска документов до секунды.

Процесс запроса

Этот поток обычно обновляется, поскольку мы постоянно стремимся расширить возможности поискового конвейера, чтобы воспользоваться последними достижениями исследовательских сообществ и сообществ разработчиков открытого кода. Также обратите внимание, что многие параметры этого потока, такие как количество извлекаемых документов, их упорядочивание, используемые модели, блоки, передаваемые в LLM, и т. д., являются настраиваемыми.