Klee: запуск макромоделей ИИ локально на рабочем столе и управление частной базой знаний

Общее введение

Klee - это настольное приложение с открытым исходным кодом, разработанное для того, чтобы помочь пользователям локально запускать большие языковые модели (LLM) с безопасным управлением частными базами знаний и возможностью ведения заметок в формате Markdown. Оно основано на Оллама Созданный на основе технологии LlamaIndex, Klee позволяет пользователям загружать и запускать модели искусственного интеллекта с помощью простых операций, а вся обработка данных осуществляется локально, без необходимости подключения к Интернету или загрузки в облако, что обеспечивает конфиденциальность и безопасность. Klee предоставляет интуитивно понятный пользовательский интерфейс для Windows, MacOS и Linux, облегчая как техническим разработчикам, так и обычным пользователям создание текстов, анализ документов и упорядочивание знаний. В настоящее время Klee находится в открытом доступе на GitHub и хорошо принят сообществом, пользователи могут свободно скачивать, настраивать или участвовать в разработке.

Список функций

• Загружайте и запускайте большие языковые модели одним щелчком мыши: Загружайте и запускайте LLM с открытым исходным кодом непосредственно из Ollama через интерфейс, без необходимости вручную настраивать среду.
• Управление базой местных знаний: Поддержка загрузки файлов и папок для создания частного индекса знаний и предоставления его ИИ для запросов.
• Создание заметок в формате Markdown: Автоматически сохраняет диалог AI или результаты анализа в формате Markdown для удобства документирования и редактирования.
• Полностью автономное использование: Подключение к Интернету не требуется, все функции выполняются локально, данные пользователя не собираются.
• Поддержка кросс-платформы: Совместимость с системами Windows, MacOS и Linux для обеспечения стабильной работы.
• Открытый исходный код и возможность настройки: Предоставляется полный исходный код для поддержки модификации функций пользователем или участия в работе сообщества.

Использование помощи

Процесс установки

Установка Klee разделена на две части: клиент (klee-client) и сервер (klee-service), ниже приведены подробные шаги:

1. системные требования

• операционная система: Windows 7+, macOS 15.0+ или Linux.
• зависимость от программного обеспечения::
  • Node.js 20.x или более поздней версии.
  • Yarn 1.22.19 или более поздняя версия.
  • Python 3.x (требуется серверная часть, рекомендуется 3.12+).
  • Git (для клонирования репозиториев).
• требования к оборудованию: Не менее 8 ГБ оперативной памяти, для запуска больших моделей рекомендуется 16 ГБ или больше.

2. Установите клиент (klee-client)

1. Клонирование клиентского репозитория::
   Запускается в терминале:

git clone https://github.com/signerlabs/klee-client.git
cd klee-client

2. Установка зависимостей::

yarn install

3. Настройка переменных среды::

• Скопируйте файл примера:

  cp .env.example .env
  

• компилятор .env файл, конфигурация по умолчанию следующая:

  VITE_USE_SUPABASE=false
  VITE_OLLAMA_BASE_URL=http://localhost:11434
  VITE_REQUEST_PREFIX_URL=http://localhost:6190
  

  Если порт или адрес сервера отличается, настройте VITE_REQUEST_PREFIX_URL.

4. Работа в режиме разработки::

yarn dev

Это приведет к запуску сервера разработки Vite и приложения Electron.
5. Применение упаковки (опционально)::

yarn build

Упакованный файл находится по адресу dist Каталог.
6. Подпись MacOS (необязательно)::

• компилятор .env Добавьте Apple ID и информацию о команде:

  APPLEID=your_apple_id@example.com
  APPLEIDPASS=your_password
  APPLETEAMID=your_team_id
  

• быть в движении yarn build После этого вы можете сгенерировать подписанное приложение.

3. Установка сервера (klee-service)

1. Клонирование репозитория на стороне сервера::

git clone https://github.com/signerlabs/klee-service.git
cd klee-service

2. Создание виртуальной среды::

• Окна:

  python -m venv venv
  venv\Scripts\activate
  

• MacOS/Linux:

  python3 -m venv venv
  source venv/bin/activate
  

3. Установка зависимостей::

pip install -r requirements.txt

4. Начальные услуги::

python main.py

По умолчанию используется порт 6190, если вам нужно его изменить:

python main.py --port 自定义端口号

После запуска службы ее необходимо поддерживать в рабочем состоянии.

4. Загрузите предварительно скомпилированную версию (необязательно)

• интервью Релизы GitHubЗагрузите установочный пакет для вашей системы.
• Распакуйте его и сразу же запустите, не нужно собирать его вручную.

Основные функции

Запуск больших языковых моделей одним щелчком мыши

1. запустить приложение::

• Убедитесь, что сервер запущен, и откройте клиентское приложение.

2. Скачать модели::

• Выберите в интерфейсе модель, поддерживаемую компанией Ollama (например, LLaMA, Mistral).
• Нажмите на кнопку "Загрузить", и Klee автоматически загрузит модель в локальную сеть.

3. операционная модель::

• После завершения загрузки нажмите "Run", чтобы загрузить модель в память.
• Введите вопрос или команду в диалоговое окно и нажмите "Отправить", чтобы получить ответ.

4. предостережение::

• Первая загрузка модели может занять несколько минут, в зависимости от размера модели и производительности оборудования.
• Если ответа нет, проверьте, запущен ли сервер на сервере http://localhost:6190.

Управление базой местных знаний

1. Загрузка файлов::

• Нажмите на опцию "Знания" в интерфейсе.
• Поддержка перетаскивания или ручного выбора файлов/папок (поддерживаются PDF, TXT и т. д.).

2. Создание индекса::

• После загрузки LlamaIndex автоматически генерирует индекс для файла.
• После завершения индексирования содержимое документа может быть найдено с помощью искусственного интеллекта.

3. Запрос к базе знаний::

• В диалоговом окне установите флажок "Использовать базу знаний" и введите свой вопрос.
• ИИ будет генерировать ответы в сочетании с содержимым базы знаний.

4. Управление базой знаний::

• Вы можете удалять или обновлять файлы на экране знаний.

Создание заметок в формате Markdown

1. Сохранение заметок::

• Когда ИИ ответит, нажмите кнопку "Сохранить как заметку".
• Система автоматически сохраняет содержимое в формате Markdown.

2. Записки менеджера::

• Просмотр всех заметок на экране "Заметки".
• Поддерживает редактирование, экспорт (сохранение в файл .md) или удаление.

3. Сценарии использования::

• Идеально подходит для записи результатов анализа искусственного интеллекта, учебных заметок или конспектов работы.

Основные функции

Полностью автономное использование

• метод работы::
• После установки все функции будут работать без необходимости подключения к сети.
• Загрузите модель и отключитесь от Интернета, и все равно все работает нормально.
• безопасность данных::
• Klee не собирает никаких пользовательских данных, а все файлы и разговоры хранятся только локально.
• Журналы используются только для отладки и не загружаются на внешние серверы.

Открытый исходный код и вклад сообщества

• Получение исходного кода::
• интервью Репозитории GitHubЗагрузите код.
• Способ внесения взноса::
• Отправьте Pull Request, чтобы добавить функцию или исправить ошибку.
• Участвуйте в обсуждениях вопросов на GitHub для оптимизации документации или продвижения приложений.
• Индивидуальные методы::
• Модифицируйте серверную часть для поддержки других моделей или API.
• Настройка клиентского интерфейса, нужно быть знакомым с React и "Электрон".

Рекомендации по использованию

• оптимизация производительности: При работе с большими моделями (например, 13B параметров) рекомендуется использовать 16GB+ RAM или ускорение GPU.
• Выбор модели: Для первого тестирования может быть выбрана модель меньшего размера (например, с параметром 7B).
• Вопрос Обратная связь: на GitHub или Дискорд Обратитесь за помощью.

Выполнив эти действия, пользователи смогут быстро установить и использовать Klee, чтобы насладиться удобством локализованного ИИ.