KoboldCpp: Ejecuta fácilmente modelos GGUF con referencia a KoboldAI, con API y GUI

Introducción general

KoboldCpp es un software de generación de texto de IA fácil de usar para modelos GGML y GGUF, inspirado en el KoboldAI original.Se trata de una única versión autocontenida distribuible de Concedo, basada en la llama.cpp y añade puntos finales flexibles de la API de KoboldAI, soporte adicional de formatos, generación de imágenes Stable Diffusion, conversión de voz a texto, compatibilidad con versiones anteriores y una magnífica interfaz de usuario con historias persistentes, herramientas de edición, formatos de guardado, memoria, información del mundo, notas del autor, personajes, escenas y mucho más, así como todo lo que KoboldAI y KoboldAI Lite.

Lista de funciones

• Compatibilidad con los modelos GGML y GGUF
• Compatible con múltiples formatos
• Función de generación de imágenes
• Función de voz a texto
• Herramientas persistentes de narración y edición
• Guardar formato y función de memoria
• Información mundial y notas del autor
• Creación de personajes y escenarios

Utilizar la ayuda

Proceso de instalación

1. Usuario de Windows::
   • Descargar la última koboldcpp.exe Versión.
   • estar en movimiento koboldcpp.exeLa interfaz gráfica de usuario puede visualizarse sin argumentos en la línea de comandos.
   • Obtener y cargar el modelo GGUF.
2. Usuarios de Linux::
   • Descargue los binarios precompilados de PyInstaller.
   • estar en movimiento chmod +x koboldcpp Haz que el documento sea ejecutable.
   • estar en movimiento ./koboldcpp Inicia el programa.
3. Usuarios de MacOS::
   • Descargar binarios para macOS ARM64.
   • Configure el archivo para que sea ejecutable en el terminal:chmod +x koboldcpp-mac-arm64.
   • estar en movimiento ./koboldcpp-mac-arm64 Inicia el programa.

Normas de uso

1. Modelos de carga::
   • Descargue el archivo del modelo GGUF.
   • Seleccione y cargue el modelo en el software.
2. Generación de texto::
   • Seleccione el preajuste y la capa GPU.
   • Introduzca el texto solicitado y pulse el botón Generar.
3. Generación de imágenes::
   • Seleccione el modelo de generación de imágenes.
   • Introduzca un texto descriptivo y haga clic en Generar imagen.
4. Voz a texto::
   • Sube un archivo de audio o graba con el micrófono.
   • Haga clic en el botón Convertir para obtener el resultado del texto.
5. Editar y guardar::
   • Utilice las herramientas de edición para modificar el texto o la imagen generados.
   • Guarda archivos localmente o en la nube.

Configuración avanzada

• Aceleración GPU: Uso --usecublas tal vez --usevulkan Bandera para activar la aceleración de GPU.
• Tamaño del contexto: Uso --contextsize Aumenta el tamaño del contexto.
• modo de compatibilidad: Uso --noavx2 Bandera para activar el modo de compatibilidad no-AVX2.