PrivateGPT: система вопросов и ответов на документы с полностью локализованным потоком обработки RAG

Общее введение

PrivateGPT - это ИИ-проект, доступный для производственных сред, который позволяет пользователям проверять документы с помощью больших языковых моделей (LLM) без подключения к интернету. Проект обеспечивает конфиденциальность данных для 100%, и все данные обрабатываются в среде выполнения пользователя без разглашения.PrivateGPT был разработан командой Zylon для предоставления API, который поддерживает создание частных, контекстно-ориентированных приложений ИИ. Проект следует стандарту OpenAI API и расширяет его, поддерживая как обычные, так и потоковые ответы.PrivateGPT подходит для областей, требующих высокой степени конфиденциальности данных, таких как здравоохранение и юриспруденция.

Похожие проекты:Kotaemon: простой в развертывании мультимодальный инструмент для проверки документов с открытым исходным кодом

Список функций

• Ввод документов: управление разбором, разбиением, извлечением метаданных, созданием и хранением встроенных элементов.
• Chat & Finish: Разговор и завершение задачи с использованием контекста входящего документа.
• Генерация вкраплений: генерирование вкраплений на основе текста.
• Контекстный поиск по блокам: поиск наиболее релевантных блоков текста в документе, основанный на результатах запроса.
• Gradio UI Client: предоставляет рабочий клиент для тестирования API.
• Инструменты для сценариев пакетной загрузки моделей, сценариев ввода, мониторинга папок с документами и т. д.

Использование помощи

Процесс установки

1. склад клонов: Сначала клонируйте репозиторий PrivateGPT на GitHub.

   git clone https://github.com/zylon-ai/private-gpt.git
cd private-gpt

2. Установка зависимостей: ИспользованиеpipУстановите необходимые зависимости Python.

   pip install -r requirements.txt

3. Конфигурационная среда: Настройте переменные окружения и установочные файлы по мере необходимости.

   cp settings-example.yaml settings.yaml
# 编辑settings.yaml文件，配置相关参数

4. Начальные услуги: Запустите службу с помощью Docker.

   docker-compose up -d

Использование функции "Вопросы и ответы по документации

1. получение документов: Поместите обрабатываемые документы в указанную папку и запустите сценарий ввода.

   python scripts/ingest.py --input-folder path/to/documents

2. Взаимодействие в вопросах и ответах: Используйте клиент Gradio UI для взаимодействия с вопросами и ответами.

   python app.py
# 打开浏览器访问http://localhost:7860

Использование API высокого уровня

1. Разбор документов и создание вкраплений: Разбор документов и создание вложений с использованием высокоуровневых API.

   from private_gpt import HighLevelAPI
api = HighLevelAPI()
api.ingest_documents("path/to/documents")

2. Контекстный поиск и генерация ответов: Поиск контекста и генерация ответов с использованием высокоуровневых API.

   response = api.chat("你的问题")
print(response)

Низкоуровневое использование API

1. Поколение встраивания: Генерируйте текстовые вставки, используя низкоуровневый API.

   from private_gpt import LowLevelAPI
api = LowLevelAPI()
embedding = api.generate_embedding("你的文本")

2. поиск по контекстным блокам: Поиск контекстных блоков с помощью низкоуровневых API.

   chunks = api.retrieve_chunks("你的查询")
print(chunks)

Использование набора инструментов

1. Пакетная модель Скачать: Используйте сценарий Bulk Model Download для загрузки необходимых моделей.

   python scripts/download_models.py

2. Мониторинг папки "Документы: Автоматическое добавление новых документов с помощью инструмента Document Folder Monitor.

   python scripts/watch_folder.py --folder path/to/documents