Kiln: ferramenta simples de síntese de dados e ajuste fino de modelos LLM, base de código 0 para ajustar seus próprios minimodelos!

Introdução geral

O Kiln é uma ferramenta de código aberto que se concentra no ajuste fino de modelos de linguagem grande (LLMs), na geração de dados sintéticos e na colaboração de conjuntos de dados. Ele fornece um aplicativo de desktop intuitivo com suporte para sistemas Windows, MacOS e Linux que permite aos usuários fazer o ajuste fino de modelos como Llama, GPT4o e Mixtral com código zero e automatizar implantações sem servidor. O Kiln também oferece suporte à geração de dados de treinamento por meio de uma ferramenta de visualização interativa que fornece controle de versão baseado em Git para facilitar a colaboração da equipe. O Kiln também oferece suporte à geração de dados de treinamento por meio de ferramentas de visualização interativas e fornece controle de versão baseado em Git para facilitar a colaboração da equipe em dados estruturados. Sua biblioteca Python aberta e a API REST OpenAPI facilitam para os desenvolvedores a integração dos conjuntos de dados do Kiln em seus fluxos de trabalho.

Lista de funções

• Aplicativos de desktop intuitivosSuporte a sistemas Windows, MacOS e Linux com instalação em um clique e design intuitivo.
• Ajuste fino de código zeroSuporte ao ajuste fino de modelos como Llama, GPT4o e Mixtral com implementação automática sem servidor.
• Geração de dados sintéticosGeração de dados de treinamento por meio de ferramentas de visualização interativas.
• Trabalho em equipeControle de versão baseado em Git para que os membros da equipe colaborem com os conjuntos de dados.
• Geração de dicasGeração automática de prompts a partir dos dados, incluindo chainthink, subamostragem e prompts de várias amostras.
• Amplo suporte a modelos e provedoresSuporte para Ollama, OpenAI, OpenRouter, Fireworks, Groq, AWS e muito mais.
• Bibliotecas e APIs de código abertoAPI OpenAPI REST: fornece a biblioteca Python de código aberto do MIT e a API OpenAPI REST.
• privacidade em primeiro lugarDados do usuário: os dados do usuário são totalmente privados, com suporte para operação local e chaves de API independentes.
• Suporte a dados estruturadosCriação de tarefas de IA habilitadas para JSON.
• Uso gratuitoAplicativos de desktop são gratuitos e as bibliotecas de código aberto são abertas.

Usando a Ajuda

Processo de instalação

1. Faça o download do aplicativoVisite a página do Kiln no GitHub e selecione o download do instalador apropriado para o seu sistema operacional.
2. Instalação de aplicativos::
   • Windows (computador)Execute o arquivo .exe baixado e siga o assistente de instalação para concluir a instalação.
   • MacOSFaça o download do arquivo .dmg, abra-o e arraste o Kiln para a pasta Aplicativos.
   • LinuxDownload do arquivo .tar.gz, descompacte-o e execute o script de instalação.

Diretrizes para uso

1. Inicie o aplicativo: Quando a instalação estiver concluída, abra o aplicativo Kiln para desktop.
2. Ajuste fino do modelo::
   • Selecione o módulo de função "Fine tuning" (Ajuste fino).
   • Selecione o modelo a ser ajustado (por exemplo, Llama, GPT4o, Mixtral).
   • Faça upload de dados de treinamento ou crie um conjunto de dados usando a ferramenta de geração de dados sintéticos do Kiln.
   • Configure os parâmetros de ajuste fino e clique em "Start fine-tuning" (Iniciar ajuste fino).
   • Após a conclusão do ajuste fino, o modelo é implantado automaticamente, sem necessidade de nenhuma ação adicional.
3. Gerar dados sintéticos::
   • Selecione o módulo de função "Synthetic Data Generation" (Geração de dados sintéticos).
   • Criar e editar dados de treinamento usando ferramentas de visualização interativas.
   • Salve o conjunto de dados gerado para ajuste fino posterior.
4. Trabalho em equipe::
   • Selecione o módulo funcional Dataset Collaboration.
   • Use o controle de versão do Git para gerenciar conjuntos de dados e facilitar a colaboração entre os membros da equipe.
   • Forneça exemplos, dicas, feedback e outras informações sobre o conjunto de dados para facilitar o trabalho conjunto dos membros da equipe.
5. Geração de dicas::
   • Selecione o módulo de função Prompt Generation.
   • Faça upload do conjunto de dados e selecione o tipo de solicitação (por exemplo, raciocínio em cadeia, menos amostras, várias amostras).
   • Geração automática de dicas para treinamento e inferência de modelos.
6. Integração ao fluxo de trabalho::
   • Integre os conjuntos de dados e a funcionalidade do Kiln em seus próprios fluxos de trabalho usando a biblioteca Python do Kiln e a API REST OpenAPI.
   • Consulte a documentação e o código de amostra do Kiln para começar a desenvolver rapidamente.

Procedimento de operação detalhado

• Ajuste fino do modeloDetalhes sobre como selecionar um modelo, carregar dados, configurar parâmetros e iniciar o ajuste fino.
• Geração de dados sintéticosDetalhes sobre como criar e editar dados usando ferramentas de visualização.
• Trabalho em equipeDescrição detalhada de como usar o controle de versão do Git para gerenciar conjuntos de dados e como fornecer e processar feedback.
• Geração de dicasDetalhes sobre como selecionar um tipo de prompt, carregar dados e gerar um prompt.
• Integração ao fluxo de trabalhoDetalhes sobre como usar as bibliotecas e APIs do Python para integração, fornecendo exemplos de código e cenários de uso.