KoboldCpp: Удобный запуск моделей GGUF с помощью KoboldAI, с API и графическим интерфейсом.

Общее введение

KoboldCpp - это простое в использовании программное обеспечение для генерации текстов ИИ для моделей GGML и GGUF, вдохновленное оригинальным KoboldAI. Это одна самодостаточная распространяемая версия, предоставленная Concedo, основанная на llama.cpp сборка и добавляет гибкие конечные точки KoboldAI API, поддержку дополнительных форматов, генерацию изображений Stable Diffusion, преобразование речи в текст, обратную совместимость и великолепный пользовательский интерфейс с постоянными историями, инструментами редактирования, форматами сохранения, памятью, информацией о мире, заметками автора, персонажами, сценами и многим другим, а также всем тем, что предлагают KoboldAI и KoboldAI Lite.

Список функций

• Поддержка моделей GGML и GGUF
• Обеспечивает поддержку нескольких форматов
• Функция генерации изображений
• Функция преобразования речи в текст
• Инструменты для создания историй и редактирования
• Формат сохранения и функция памяти
• Информация о мире и примечание автора
• Создание персонажей и сцен

Использование помощи

Процесс установки

1. Пользователь Windows::
   • Загрузите последнюю версию koboldcpp.exe Версия.
   • быть в движении koboldcpp.exeГрафический интерфейс может отображаться без аргументов командной строки.
   • Получите и загрузите модель GGUF.
2. Пользователи Linux::
   • Загрузите предварительно скомпилированные двоичные файлы PyInstaller.
   • быть в движении chmod +x koboldcpp Сделайте документ исполняемым.
   • быть в движении ./koboldcpp Запустите программное обеспечение.
3. Пользователи MacOS::
   • Загрузите двоичные файлы для ARM64 MacOS.
   • Установите файл в качестве исполняемого в терминале:chmod +x koboldcpp-mac-arm64.
   • быть в движении ./koboldcpp-mac-arm64 Запустите программное обеспечение.

Руководство по использованию

1. Модели для погрузки::
   • Загрузите файл модели GGUF.
   • Выберите и загрузите модель в программу.
2. Генерация текста::
   • Выберите пресет и уровень GPU.
   • Введите текстовый запрос и нажмите кнопку Generate.
3. Генерация изображений::
   • Выберите модель формирования изображения.
   • Введите описательный текст и нажмите кнопку Создать изображение.
4. Передача речи в текст::
   • Загрузите аудиофайл или сделайте запись с помощью микрофона.
   • Нажмите кнопку Преобразовать, чтобы получить текстовый результат.
5. Редактирование и сохранение::
   • Используйте инструменты редактирования, чтобы изменить созданный текст или изображение.
   • Сохраняйте файлы локально или в облаке.

Дополнительные настройки

• Ускорение графического процессора: Использование --usecublas возможно --usevulkan Флаг для включения ускорения GPU.
• Размер контекста: Использование --contextsize Увеличьте размер контекста.
• режим совместимости: Использование --noavx2 Флаг включения режима совместимости без AVX2.