Denser Chat: взаимодействие с PDF-файлами, подсветка исходного кода

Общее введение

Denser Chat - это проект чатбота, разработанный и поддерживаемый denser.ai для извлечения текста и таблиц из PDF-файлов и веб-страниц с подсветкой исходного кода. Проект поддерживает создание чат-ботов на основе denser-retriever и предоставляет интерактивные приложения чат-ботов Streamlit. Пользователи могут быстро развернуть и использовать чатбот для ответов на вопросы, связанные с PDF- и веб-контентом, с помощью простой установки и настройки.

Список функций

• Извлечение текста и таблиц из PDF-файлов и веб-страниц
• Создание чатбота на основе denser-retriever
• Поддержка интерактивных приложений чатботов Streamlit
• Предоставьте функцию подсветки исходного кода
• Поддержка различных форматов файлов и URL-адресов в качестве источников данных
• Запуск служб Elasticsearch и Milvus с помощью Docker Compose
• Используйте OpenAI или Клод API для обеспечения функциональности чата

Использование помощи

Процесс установки

1. Хранилище клонирования:

   git clone https://github.com/denser-org/denser-chat.git

2. Перейдите в каталог проекта и запустите виртуальную среду (убедитесь, что версия Python - 3.11):

   cd denser-chat
python -m venv .venv
source .venv/bin/activate

3. Установите необходимые пакеты:

   pip install -e .

Или используйте "Поэзию":

   poetry install

Быстрый старт

1. Перед созданием индексов запустите Docker Compose, чтобы запустить сервисы Elasticsearch и Milvus:

   cd denser_chat
docker compose up -d

2. Создание индекса чатботов:

   python build.py sources.txt output test_index

где первый параметр - файл, используемый для создания чатбота, который может быть локальным PDF-файлом, URL PDF или URL. второй параметр - выходной каталог, а третий - имя индекса.

3. Запустите локальный сервер для предоставления услуг PDF:

   python -m http.server 8000

4. Запустите приложение Streamlit:

   cd denser_chat
streamlit run demo.py -- --index_name test_index

Функции использования

• Извлечение текста и таблиц: Загрузите PDF-файл или введите URL-адрес веб-страницы, и Denser Chat автоматически извлечет из него текст и содержимое таблиц.
• Выделение исходного кода: Во время общения Denser Chat выделяет соответствующий исходный код в PDF-файле для удобства просмотра и понимания.
• интерактивный чат: Настроив OpenAI или ключи API Клода, пользователи могут взаимодействовать с чат-ботами и получать точные ответы.

Подробная процедура работы

1. Загрузка файлов: Выберите и загрузите PDF-файл в интерфейсе приложения или введите URL-адрес веб-страницы.
2. задавать вопросы: Вводите вопросы в окно чата, например "Что такое отрицательная выборка в партии?" или "Какие детали имеют стопорные штифты?". .
3. Посмотреть результаты: Denser Chat будет возвращать ответы с выделением, облегчая пользователям быстрый поиск соответствующего контента.