Introdução geral
O SFT-data-builder é um projeto de código aberto desenvolvido para gerar dados de treinamento SFT de alta qualidade combinando dados de domínio privado do usuário usando a API Big Model gratuita. A ferramenta é compatível com vários formatos de modelos de IA e oferece geração com um clique, geração em lote, edição flexível e funções de armazenamento local para ajudar os usuários a gerar rapidamente dados de treinamento adequados para pré-treinamento, ajuste fino, chamada de função e outros cenários.
Lista de funções
- Gerar dados de treinamento com um cliqueSuporte a várias chamadas de formato OpenAI para modelos locais ou baseados em nuvem.
- Geração de lotesGeração de dados de treinamento a partir de várias perspectivas diferentes ao mesmo tempo, suporte a artigos de URL em lote para gerar dados automaticamente.
- Edição flexívelTodos os dados gerados podem ser editados e ajustados a qualquer momento.
- armazenamento localSalvamento automático de todos os dados localmente: salva automaticamente todos os dados localmente.
- Fácil de exportarExportação de arquivos JSON de formato padrão com um clique.
- Suporte a vários modelosSuporte a uma ampla variedade de modelos de IA convencionais, com modelos personalizáveis.
- Suporte a vários formatosSuporte para PDF, Word, TXT e outros formatos de arquivo.
Usando a Ajuda
Processo de instalação
- Instalação de dependênciasExecutar no diretório do projeto
npm install
. - Início de projetos: Executar
npm run start
Lançamento do projeto.
Diretrizes para uso
- Configuração da API::
- Clique no botão "Open Configuration" (Abrir configuração).
- Defina o endereço e a chave da API.
- Selecione ou personalize o modelo de IA.
- Define o número de entradas de dados geradas por vez.
- entrada::
- Faça upload de arquivos (compatível com PDF, DOCX, TXT).
- ou digite o conteúdo do texto diretamente.
- Gerar dados::
- Clique no botão Generate AI Response (Gerar resposta de IA).
- Alternar entre vários resultados gerados e editar o conteúdo gerado conforme necessário.
- Dados gerenciais::
- Adicionar à lista de dados.
- Visualizar todos os dados gerados.
- Excluir dados indesejados.
- Exportar como um arquivo JSON.
Função Fluxo de operação
- Gerar dados de treinamento com um clique::
- Selecione ou personalize o modelo de IA.
- Insira ou faça upload de conteúdo de texto.
- Clique no botão "Generate AI Response" (Gerar resposta de IA) e o sistema gerará automaticamente os dados de treinamento.
- Geração de lotes::
- Defina os parâmetros de geração de lotes na página de configuração.
- Faça upload de um arquivo contendo vários URLs ou insira vários URLs.
- Clique no botão "Batch Generate" (Gerar lote) e o sistema gerará automaticamente vários dados de treinamento.
- Edição flexível::
- Na tela Resultados gerados, clique na entrada de dados a ser editada.
- Modifique o conteúdo no editor para salvar as alterações.
- Armazenamento local e exportação::
- Todos os dados gerados são salvos automaticamente no armazenamento local.
- Na tela de gerenciamento de dados, selecione os dados a serem exportados e clique no botão "Export to JSON".