KoboldCpp: Execute facilmente modelos GGUF com referência ao KoboldAI, com API e GUI

Introdução geral

O KoboldCpp é um software de geração de texto de IA fácil de usar para modelos GGML e GGUF, inspirado no KoboldAI original. llama.cpp e adiciona pontos de extremidade flexíveis da API do KoboldAI, suporte a formatos adicionais, geração de imagens Stable Diffusion, conversão de voz em texto, compatibilidade com versões anteriores e uma linda interface de usuário com histórias persistentes, ferramentas de edição, formatos de salvamento, memória, informações sobre o mundo, notas do autor, personagens, cenas e muito mais, além de tudo o que o KoboldAI e o KoboldAI Lite têm a oferecer.

Lista de funções

• Suporte para modelos GGML e GGUF
• Oferece suporte a vários formatos
• Função de geração de imagens
• Função de fala para texto
• Ferramentas persistentes de narração e edição
• Salvar formato e função de memória
• Informações mundiais e notas do autor
• Criação de personagens e cenas

Usando a Ajuda

Processo de instalação

1. Usuário do Windows::
   • Faça o download da versão mais recente koboldcpp.exe Versão.
   • estar em movimento koboldcpp.exeA GUI pode ser exibida sem argumentos de linha de comando.
   • Obter e carregar o modelo GGUF.
2. Usuários do Linux::
   • Faça o download dos binários pré-compilados do PyInstaller.
   • estar em movimento chmod +x koboldcpp Tornar o documento executável.
   • estar em movimento . /koboldcpp Inicie o software.
3. Usuários do MacOS::
   • Faça o download dos binários para o MacOS ARM64.
   • Defina o arquivo para ser executável no terminal:chmod +x koboldcpp-mac-arm64.
   • estar em movimento . /koboldcpp-mac-arm64 Inicie o software.

Diretrizes para uso

1. Modelos de carregamento::
   • Faça o download do arquivo do modelo GGUF.
   • Selecione e carregue o modelo no software.
2. Geração de texto::
   • Selecione a predefinição e a camada GPU.
   • Digite o prompt de texto e clique no botão Generate (Gerar).
3. Geração de imagens::
   • Selecione o modelo de geração de imagem.
   • Digite o texto descritivo e clique em Generate Image (Gerar imagem).
4. Conversão de fala em texto::
   • Carregue um arquivo de áudio ou grave usando o microfone.
   • Clique no botão Convert (Converter) para obter o resultado do texto.
5. Edição e salvamento::
   • Use ferramentas de edição para modificar o texto ou a imagem gerada.
   • Salve arquivos localmente ou na nuvem.

Configurações avançadas

• Aceleração de GPU: Uso --usecublas talvez --usevulkan Sinalizador para ativar a aceleração da GPU.
• Tamanho do contexto: Uso --contextsize Aumentar o tamanho do contexto.
• modo de compatibilidade: Uso --noavx2 Sinalizador para ativar o modo não compatível com AVX2.

O guia do leigo para começar a usar a IA

Ajuda você a aprender a utilizar as ferramentas de IA com baixo custo e a partir de uma base zero.A IA, assim como o software de escritório, é uma habilidade essencial para todos. Dominar a IA lhe dará uma vantagem em sua busca de emprego e metade do esforço em seu trabalho e estudos futuros.

Ver detalhes>