LocalGPT: Обеспечение конфиденциальности данных при работе с несколькими документами на локальных устройствах

Общее введение

LocalGPT - это проект с открытым исходным кодом, позволяющий пользователям общаться с документами на локальных устройствах, обеспечивая конфиденциальность данных. Используя различные модели с открытым исходным кодом, LocalGPT может обрабатывать и понимать содержимое документов, не загружая данные в облако. Проект поддерживает множество платформ, включая GPU, CPU, HPU и MPS, и предоставляет богатые возможности, такие как история сессий, интерфейсы API и графические интерфейсы. Цель LocalGPT - предоставить пользователям безопасную и приватную среду взаимодействия с документами для сценариев, требующих высокой степени защиты конфиденциальности.

Список функций

• конфиденциальность данных: Вся обработка данных производится на локальном устройстве, что обеспечивает безопасность данных 100%.
• Поддержка нескольких моделей: Поддерживаются различные модели с открытым исходным кодом, включая HF, GPTQ, GGML и GGUF.
• Многократное встраивание: Доступны различные варианты встраивания с открытым исходным кодом.
• Повторное использование модели: LLM можно использовать повторно после загрузки, нет необходимости скачивать его снова и снова.
• разговорная история: Вспомните историю диалога в сессии.
• Интерфейс API: Предоставляет интерфейс API для облегчения создания приложений RAG.
• графический интерфейс пользователя (GUI): Предоставляет API-интерфейс и автономный графический интерфейс (streamlit-based).
• Поддержка нескольких платформ: Поддерживает множество платформ, таких как CUDA, CPU, HPU (Intel® Gaudi®) и MPS.

Использование помощи

Процесс установки

1. склад клонов: Выполните следующую команду в терминале, чтобы клонировать репозиторий LocalGPT:

   git clone https://github.com/PromtEngineer/localGPT.git

2. Установка зависимостей: Перейдите в каталог проекта и установите необходимые зависимости:

   cd localGPT
pip install -r requirements.txt

3. Конфигурационная среда: При необходимости настройте переменные окружения и пути к моделям.

Использование

1. Начальные услуги: Выполните следующую команду, чтобы запустить службу LocalGPT:

   python run_localGPT.py

2. интерфейс доступа: Откройте браузер и перейдите по указанному локальному адресу для доступа к графическому интерфейсу.
3. Загрузить документ: Загрузите документы для обработки в интерфейс.
4. Начало диалога: Введите вопрос в диалоговое окно, и LocalGPT сгенерирует ответ, основываясь на содержании документа.

Детальное управление функциями

• конфиденциальность данных: Вся обработка данных производится на локальных устройствах, что обеспечивает безопасность данных 100%. Пользователям не нужно беспокоиться об утечке данных.
• Поддержка нескольких моделейLocalGPT поддерживает различные модели с открытым исходным кодом, поэтому пользователи могут выбрать подходящую модель для обработки документов в зависимости от потребностей.
• разговорная историяLocalGPT записывает историю разговоров в сессии, что облегчает пользователям просмотр и управление содержанием предыдущих разговоров.
• Интерфейс APILocalGPT предоставляет API-интерфейсы, которые разработчики могут использовать для создания собственных RAG-приложений, что позволяет повысить степень их кастомизации.
• графический интерфейс пользователя (GUI)LocalGPT предоставляет графический пользовательский интерфейс, основанный на потоковом освещении, который позволяет пользователям выполнять загрузку документов и диалоговые операции с помощью интуитивно понятного интерфейса.

Пример операционной процедуры

1. Загрузить документНажмите на кнопку "Загрузить документ" и выберите файл документа, который необходимо обработать.
2. Вопросы ввода: Введите вопрос в диалоговое окно, например, "Каково основное содержание этого документа?". .
3. Посмотреть ответLocalGPT генерирует ответы на основе содержимого документа и отображает их в диалоговом окне.
4. Управление сеансами: Пользователи могут просматривать и управлять историей сеансов для удобства последующего использования.