SFT-data-builder: genere datos de entrenamiento de IA mediante la API gratuita de big models, generación de datos de entrenamiento de big models a coste 0.

Introducción general

SFT-data-builder es un proyecto de código abierto diseñado para generar datos de entrenamiento SFT de alta calidad combinando datos de dominio privado del usuario mediante la API gratuita Big Model. La herramienta admite diversos formatos de modelos de IA y ofrece funciones de generación con un solo clic, generación por lotes, edición flexible y almacenamiento local para ayudar a los usuarios a generar rápidamente datos de entrenamiento adecuados para el preentrenamiento, el ajuste fino, la llamada a funciones y otros escenarios.

Lista de funciones

• Genere datos de entrenamiento con un solo clic: Se admiten numerosas llamadas de formato OpenAI para modelos locales o basados en la nube.
• Generación de lotesGeneración de datos de entrenamiento desde múltiples perspectivas diferentes a la vez, admite artículos de URL por lotes para generar datos automáticamente.
• Edición flexible: Todos los datos generados pueden editarse y ajustarse en cualquier momento.
• almacenamiento local: Guarda automáticamente todos los datos localmente.
• Fácil de exportar: Exporte archivos JSON de formato estándar con un solo clic.
• Compatibilidad con varios modelos: Admite una amplia gama de modelos de IA convencionales, con modelos personalizables.
• Soporte multiformatoSoporte para PDF, Word, TXT y otros formatos de archivo.

Utilizar la ayuda

Proceso de instalación

1. Instalación de dependenciasEjecutar en el directorio del proyecto npm install.
2. Inicio de proyectos: Ejecutar npm run start Puesta en marcha del proyecto.

Normas de uso

1. Configuración de la API::
   • Haga clic en el botón "Abrir configuración".
   • Establezca la dirección y la clave de la API.
   • Selecciona o personaliza el modelo de IA.
   • Establece el número de entradas de datos generadas a la vez.
2. entrada::
   • Cargue archivos (admite PDF, DOCX y TXT).
   • o introduzca directamente el contenido del texto.
3. Generar datos::
   • Haga clic en el botón Generar respuesta AI.
   • Alterne entre varios resultados generados y edite el contenido generado según sea necesario.
4. Datos de gestión::
   • Añadir a la lista de datos.
   • Vista previa de todos los datos generados.
   • Borra los datos no deseados.
   • Exportar como archivo JSON.

Función Flujo de operaciones

1. Genere datos de entrenamiento con un solo clic::
   • Selecciona o personaliza el modelo de IA.
   • Introduzca o cargue el contenido del texto.
   • Haga clic en el botón "Generar respuesta AI", el sistema generará automáticamente datos de entrenamiento.
2. Generación de lotes::
   • Establezca los parámetros de generación de lotes en la página de configuración.
   • Cargue un archivo que contenga varias URL o introduzca varias URL.
   • Haga clic en el botón "Generar lote", el sistema generará automáticamente múltiples datos de entrenamiento.
3. Edición flexible::
   • En la pantalla Resultados generados, haga clic en la entrada de datos que desee editar.
   • Modifique el contenido en el editor para guardar los cambios.
4. Almacenamiento local y exportación::
   • Todos los datos generados se guardan automáticamente en el almacenamiento local.
   • En la pantalla de gestión de datos, seleccione los datos que desea exportar y haga clic en el botón "Exportar a JSON".