SFT-data-builder : générer des données d'entraînement à l'IA à l'aide de l'API gratuite pour les grands modèles, génération de données d'entraînement pour les grands modèles à un coût nul

Introduction générale

SFT-data-builder est un projet open-source conçu pour générer des données d'entraînement SFT de haute qualité en combinant les données du domaine privé de l'utilisateur à l'aide de l'API Big Model gratuite. L'outil prend en charge une variété de formats de modèles d'IA et fournit des fonctions de génération en un clic, de génération par lots, d'édition flexible et de stockage local pour aider les utilisateurs à générer rapidement des données d'entraînement adaptées au pré-entraînement, au réglage fin, à l'appel de fonctions et à d'autres scénarios.

Liste des fonctions

• Générer des données de formation en un seul clicLes modèles locaux ou basés sur le cloud sont pris en charge par de nombreux formats OpenAI.
• Génération de lotsLes données de formation sont générées à partir de plusieurs points de vue différents en même temps. Les articles URL par lots sont pris en charge afin de générer des données automatiquement.
• Édition flexibleToutes les données générées peuvent être modifiées et ajustées à tout moment.
• stockage localSauvegarde des données : Sauvegarde automatiquement toutes les données au niveau local.
• Facile à exporterExportation de fichiers JSON au format standard en un seul clic.
• Prise en charge de plusieurs modèlesLa gestion de l'intelligence artificielle : elle prend en charge un large éventail de modèles d'intelligence artificielle courants, avec des modèles personnalisables.
• Support multiformatPrise en charge des formats PDF, Word, TXT et autres.

Utiliser l'aide

Processus d'installation

1. Installation des dépendancesExécuter dans le répertoire du projet npm install.
2. Lancement de projets: Run npm run start Lancement du projet.

Lignes directrices pour l'utilisation

1. Configuration de l'API: :
   • Cliquez sur le bouton "Ouvrir la configuration".
   • Définir l'adresse et la clé de l'API.
   • Sélectionner ou personnaliser le modèle d'IA.
   • Définit le nombre d'entrées de données générées à la fois.
2. entrée: :
   • Télécharger des fichiers (PDF, DOCX, TXT pris en charge).
   • ou saisir directement le contenu du texte.
3. Générer des données: :
   • Cliquez sur le bouton Générer une réponse AI.
   • Passer d'un résultat généré à l'autre et modifier le contenu généré si nécessaire.
4. Données de gestion: :
   • Ajouter à la liste des données.
   • Prévisualiser toutes les données générées.
   • Supprimer les données indésirables.
   • Exporter sous forme de fichier JSON.

Fonction Opération Déroulement

1. Générer des données de formation en un seul clic: :
   • Sélectionner ou personnaliser le modèle d'IA.
   • Saisissez ou téléchargez du contenu textuel.
   • Cliquez sur le bouton "Generate AI Response", le système génère automatiquement des données d'entraînement.
2. Génération de lots: :
   • Définissez les paramètres de génération de lots sur la page de configuration.
   • Téléchargez un fichier contenant plusieurs URL ou entrez plusieurs URL.
   • Cliquez sur le bouton "Batch Generate", le système génère automatiquement plusieurs données d'entraînement.
3. Édition flexible: :
   • Dans l'écran Résultats générés, cliquez sur l'entrée de données à modifier.
   • Modifiez le contenu dans l'éditeur pour enregistrer les changements.
4. Stockage local et exportation: :
   • Toutes les données générées sont automatiquement enregistrées dans la mémoire locale.
   • Dans l'écran de gestion des données, sélectionnez les données à exporter et cliquez sur le bouton "Exporter vers JSON".