Kotaemon: простой в развертывании мультимодальный инструмент для проверки документов с открытым исходным кодом

Последние ресурсы по искусственному интеллектуОбновлено 11 месяцев назад Круг обмена ИИ

10.8K 00

Общее введение

Kotaemon - это инструмент вопросов и ответов на документы с открытым исходным кодом, предназначенный для предоставления конечным пользователям и разработчикам функциональности вопросов и ответов на основе Retrieval Augmented Generation (RAG). Разработанный Cinnamon, проект поддерживает различные LLM API провайдеры (например, OpenAI, AzureOpenAI, Cohere и т.д.), а также собственные LLM. Kotaemon предоставляет чистый и настраиваемый пользовательский интерфейс для опроса документов и создания RAG Трубы.

Список функций

Поддержка нескольких пользовательских логинов, организация файлов в частных/публичных коллекциях
Поддержка родного LLM и популярных поставщиков API
Поставляется со смешанным трубопроводом RAG для обеспечения оптимального качества извлечения
Мультимодальная поддержка вопросов и ответов для документов, содержащих графики и таблицы
Предоставляет простые в установке сценарии, не требующие настройки среды

Функциональные особенности

Создание собственного веб-интерфейса для проведения викторины по документации (RAG). Поддержка нескольких логинов пользователей, организация файлов по частным/публичным коллекциям, совместная работа с другими пользователями и обмен любимыми чатами.
Организуйте свой LLM и модели внедрения. Поддержка родного LLM и популярных провайдеров API (OpenAI, Azure, Ollama, Groq).
Смешанные трубы RAG. Обеспечивает разумный конвейер RAG по умолчанию в сочетании с гибридным (полнотекстовым и векторным) поисковиком + переупорядочивание для обеспечения оптимального качества поиска.
Мультимодальная поддержка вопросов и ответов. Вопросы и ответы для нескольких документов, с поддержкой графиков и таблиц. Поддержка мультимодального разбора документов (опция доступна в пользовательском интерфейсе).
Расширенное цитирование с предварительным просмотром документов. По умолчанию система предоставляет подробные ссылки, чтобы убедиться в правильности ответов LLM. Это можно сделать непосредственно вПрограмма просмотра PDFПросмотр ссылок (включая оценки релевантности) и их выделение. Предупреждение, когда поисковый конвейер возвращает статьи с низкой релевантностью.
Поддержка сложных методов рассуждений. Использование декомпозиции вопросов для ответа на сложные/многоходовые вопросы. Поддержка агентных рассуждений с использованием ReAct, ReWOO и других агентов.
Настраиваемый пользовательский интерфейс. В пользовательском интерфейсе можно настроить большинство важных аспектов процесса поиска и генерации (включая подсказки).
масштабируемость. Построенный на Gradio, вы можете свободно настраивать/добавлять любые элементы пользовательского интерфейса, которые вам нравятся. Кроме того, мы стремимся поддерживать множество стратегий индексирования и поиска документов.GraphRAGВ качестве примера приведен индексный трубопровод.

Использование помощи

Процесс установки для обычных пользователей

Скачать:через (щель)Новые релизызагрузкаkotaemon-app.zipДокументация.

Установка:

Распакуйте загруженный файл.
входитьscriptsпапку и запустите программу установки, соответствующую вашей операционной системе:
- Окна. run_windows.bat. Просто дважды щелкните файл.
- macOS. run_macos.sh
  1. Щелкните правой кнопкой мыши на файле и выберите "Открыть с помощью другого приложения".
  2. Включите "Все приложения" и выберите "Терминал".
  3. Примечание: Если вы хотите всегда открывать файл с помощью терминала, установите флажок "Всегда открывать с помощью этого приложения".
  4. Теперь дважды щелкните на файле, и он будет работать нормально.
- Linux. run_linux.sh. Пожалуйста, используйтеbash run_linux.shЗапустите скрипт.
После завершения установки программа установки спросит, запущен ли пользовательский интерфейс ktem, ответьте, чтобы продолжить.
Если запуск прошел успешно, приложение автоматически откроется в вашем браузере.

Процесс установки разработчика

Развертывание Docker (рекомендуется)

docker run \
-e GRADIO_SERVER_NAME=0.0.0.0 \
-e GRADIO_SERVER_PORT=7860 \
-p 7860:7860 -it --rm \
taprosoft/kotaemon:v1.0

Перейдите по адресу http://localhost:7860/, чтобы получить доступ к веб-интерфейсу.

Развертывание исходного кода

Клонируйте и установите необходимые пакеты в новой среде Python.

# optional (setup env)
conda create -n kotaemon python=3.10
conda activate kotaemon

# clone this repo
git clone https://github.com/Cinnamon/kotaemon
cd kotaemon

pip install -e "libs/kotaemon[all]"
pip install -e "libs/ktem"

Просматривайте и редактируйте переменные окружения (ключи API, конечные точки) в разделе .env Средний.

(Необязательно) Чтобы включить просмотрщик PDF_JS в вашем браузере, загрузите файл PDF_JS_DIST и извлекает его в libs/ktem/ktem/assets/prebuilt

Запуск веб-сервера

python app.py

Имя пользователя/пароль по умолчанию: admin / admin. Вы можете настроить других пользователей непосредственно в пользовательском интерфейсе.

Руководство по использованию

Вход в систему и управление документами::
- Пользователи могут получить доступ к платформе через многопользовательскую систему входа для организации и управления своими коллекциями документов.
- Поддерживает категоризацию файлов в частные или публичные коллекции для удобства совместной работы и обмена.
Функция вопросов и ответов::
- Пользователи могут загружать документы и выполнять операции Q&A в интерфейсе.
- Поддержка многомодальных вопросов и ответов и возможность работы с документами, содержащими графики и таблицы.
Изготовление труб RAG на заказ::
- Разработчики могут настраивать и просматривать конвейер RAG с помощью предоставленного пользовательского интерфейса.
- Поддерживая родной LLM и популярные API-провайдеры, пользователи могут выбрать подходящую модель в соответствии со своими потребностями.
Гибридный поиск::
- Система обеспечивает гибридный поиск, сочетающий полнотекстовый и векторный поиск для обеспечения оптимального качества поиска.
- Поддержка функции переупорядочивания для улучшения релевантности результатов поиска.
мультимодальная поддержка::
- Платформа поддерживает мультимодальные вопросы и ответы и способна работать с документами, содержащими графики и таблицы, что делает вопросы и ответы более полными.

Дополнительные возможности

управление моделями::
- Пользователи могут организовывать и управлять своими собственными LLM и встроенными моделями.
- Благодаря поддержке нативных моделей и популярных поставщиков API пользователи могут выбрать подходящую модель в соответствии со своими потребностями.
Сотрудничество и совместное использование::
- Пользователи могут делиться своими любимыми чатами с другими для удобства совместной работы и общения.
- Поддержка многопользовательского входа позволяет пользователям сотрудничать и обмениваться информацией на платформе.
Отзывы и вклад::
- Проект находится в стадии активной разработки, и мы приветствуем отзывы пользователей, сообщения о проблемах и PR.