Laisser ChatGPT interpréter tous les paramètres LoRA

mettre en placeoptions (comme dans les paramètres d'un logiciel informatique)descriptionsinconvénients
modèle_de_baseChemin d'accès au fichier du modèle de baseCette option indique le chemin d'accès au fichier du modèle de base à utiliser comme point de départ pour la formation d'un nouveau modèle. Le modèle sera affiné sur les nouvelles données fournies.Il est important de choisir le modèle sous-jacent qui est pertinent pour la tâche et les données, sinon le processus de réglage fin risque de ne pas améliorer les performances.
dossier_imgChemin d'accès au dossier contenant les images d'apprentissageCette option indique le chemin d'accès au dossier contenant les images d'entraînement utilisées pour entraîner le modèle.La qualité et la quantité des images d'entraînement peuvent affecter considérablement les performances du modèle. Il est essentiel de disposer d'images suffisamment diversifiées et de bonne qualité pour l'apprentissage du modèle.
dossier_de_sortieChemin d'accès au dossier dans lequel le modèle de sortie est stockéCette option indique le chemin d'accès au dossier dans lequel le modèle de sortie est enregistré après la formation.Le dossier de sortie doit disposer d'un espace de stockage suffisant pour sauvegarder les fichiers du modèle. Il est important de sauvegarder régulièrement les fichiers du modèle afin d'éviter toute perte de données qui pourrait entraîner une perte de travail.
nom_de_la_sortiebooléenIndique s'il faut modifier le nom de sortie du modèle d'apprentissage. Si la valeur est True, le nom de sortie sera modifié, sinon il restera inchangé.N/A
save_json_folderchaîne de caractères (informatique)Chemin d'accès au dossier dans lequel les fichiers json du modèle d'entraînement seront enregistrés.N/A
load_json_pathchaîne de caractères (informatique)Le chemin d'accès au fichier json qui sera utilisé pour charger les paramètres du modèle. Ceci est utile pour poursuivre la formation à partir d'un point de contrôle précédent.Le fichier spécifié par load_json_path doit exister et être un fichier json valide.
json_load_skip_listliste de chaînesSpécifie une liste de chaînes pour les clés de la configuration du modèle qui ne sont pas chargées dans le fichier .json enregistré.Si vous incluez accidentellement les clés requises dans la liste json_load_skip_list, le modèle peut ne pas fonctionner comme prévu.
multi_run_folderchaîne de caractères (informatique)Le nom du dossier dans lequel sont stockés les résultats de plusieurs formations, au format {dossier_multirun}/run{numéro_run}/.Si plusieurs exécutions sont effectuées sans modifier le nom du dossier multi_exécutions, les résultats précédents seront écrasés.
save_json_onlybooléenSi la valeur est True, seul le fichier de configuration du modèle (format .json) est sauvegardé, et non l'ensemble des points de contrôle du modèle.Le fichier .json seul ne permettra pas de récupérer le modèle, et si save_json_only est défini sur True, vous devez recommencer la formation depuis le début.
caption_dropout_rateChiffres à virgule flottante compris entre 0 et 1Spécifie le taux d'élimination aléatoire des titres pendant la formation.Si cette valeur est trop élevée, des informations importantes du titre peuvent être perdues, ce qui se traduit par des résultats de moindre qualité.
caption_dropout_every_n_epochsentier (math.)Spécifier la fréquence (en tours) à laquelle les suppressions de titres sont effectuées pendant la formation.Si cette valeur est trop élevée, le modèle risque de ne pas être exposé à une diversité suffisante de titres pendant l'apprentissage, ce qui entraînera un surajustement. Si cette valeur est trop basse, le modèle risque de ne pas avoir assez de temps pour apprendre des titres avant d'être rejeté.
caption_tag_dropout_rateChiffres à virgule flottante compris entre 0 et 1Contrôle le taux d'élimination aléatoire des titres lors de l'apprentissage du modèle. Une valeur élevée signifie que davantage de titres seront écartés, tandis qu'une valeur faible signifie que moins de titres seront écartés.Des valeurs élevées peuvent entraîner la perte d'informations importantes dans le titre, ce qui se traduit par des résultats de moindre qualité.
net_dimentier (math.)Ce paramètre détermine le nombre d'unités cachées dans l'architecture du réseau du modèle. Des valeurs net_dim plus élevées se traduisent par un modèle plus complexe et plus grand, mais nécessitent également plus de ressources informatiques et peuvent conduire à un surajustement si le modèle est trop grand et que les données d'apprentissage sont insuffisantes.Surajustement, augmentation des ressources informatiques
alphavirgule flottanteCe paramètre détermine la capacité d'apprentissage utilisée pendant la formation. Des valeurs alpha plus élevées peuvent conduire à une convergence plus rapide, mais si elles sont trop élevées, elles peuvent également conduire à un surajustement du modèle ou à une convergence vers des solutions sous-optimales. Des valeurs alpha plus petites peuvent entraîner une convergence lente ou pas de convergence du tout.Solution sous-optimale, convergence lente
planificateurchaîne de caractères (informatique)Ce paramètre détermine le rythme d'apprentissage utilisé pendant la formation. Les choix courants sont "step", "cosine" et "plateau". Le plan par étapes réduit le taux d'apprentissage d'un facteur fixe après un nombre spécifié d'itérations, tandis que le plan en cosinus réduit le taux d'apprentissage par une fonction en cosinus. Le plan plateau réduit le taux d'apprentissage lorsque la perte de validation cesse de s'améliorer.Solution sous-optimale, convergence lente, difficulté à choisir un plan approprié
cosinus_restartsentier (math.)Le nombre de fois que le schéma de recuit en cosinus doit être redémarré. Un plus grand nombre de redémarrages permet au taux d'apprentissage de changer plus fréquemment, ce qui réduit le risque de tomber dans un taux d'apprentissage sous-optimal.L'augmentation du nombre de redémarrages peut entraîner des changements plus fréquents du taux d'apprentissage, ce qui peut rendre le processus de formation plus instable et difficile à ajuster.
puissance du planificateurvirgule flottanteLe paramètre de puissance de l'ordonnanceur. Des valeurs de puissance plus élevées signifient que le taux d'apprentissage change plus lentement.Des valeurs de puissance plus élevées peuvent entraîner un taux d'apprentissage trop lent pour converger dans un délai raisonnable. D'autre part, des valeurs de puissance plus faibles peuvent entraîner un taux d'apprentissage trop agressif, ce qui conduit le modèle à suradapter les données d'apprentissage.
rapport_lr_échauffementvirgule flottanteRapport entre le taux d'apprentissage maximal et le taux d'apprentissage initial pendant la période d'échauffement. Le taux d'apprentissage augmente progressivement de la valeur initiale à la valeur maximale.Un taux d'apprentissage d'échauffement élevé peut aboutir à un modèle qui converge lentement ou pas du tout. D'autre part, un taux d'apprentissage d'échauffement faible peut entraîner un taux d'apprentissage trop faible pour entraîner efficacement le modèle.
taux d'apprentissagevirgule flottanteCette option définit le taux d'apprentissage de l'optimiseur utilisé pour entraîner le modèle. Elle détermine la taille du pas auquel l'optimiseur met à jour les paramètres du modèle. La valeur par défaut est 0,0001.Un taux d'apprentissage élevé peut entraîner une convergence trop rapide du modèle vers une solution sous-optimale, tandis qu'un taux d'apprentissage faible peut entraîner un processus d'apprentissage lent susceptible de converger vers une solution médiocre. Le taux d'apprentissage doit être défini avec soin afin d'équilibrer ces compromis.
text_encoder_lrvirgule flottanteCette option définit spécifiquement le taux d'apprentissage du composant codeur de texte du modèle. Si cette valeur est différente de learning_rate, elle permet d'affiner le réglage de l'encodeur de texte.Le fait de fixer text_encoder_lr à une valeur différente de learning_rate peut entraîner un surajustement de l'encodeur de texte et une mauvaise généralisation à de nouvelles données.
unet_lrvirgule flottanteCette option définit spécifiquement le taux d'apprentissage de la composante UNet du modèle. Si cette valeur est différente de learning_rate, elle permet d'affiner la composante UNet de manière spécifique.Le fait de fixer unet_lr à une valeur différente de learning_rate peut entraîner un surajustement de UNet et une mauvaise généralisation à de nouvelles données.
nombre de travailleursentier (math.)Spécifie le nombre de threads de travail pour charger les données. L'augmentation du nombre de threads permet d'accélérer le chargement des données et la formation, mais peut également augmenter l'utilisation de la mémoire.Un trop grand nombre de threads de travail peut entraîner un débordement de la mémoire et ralentir le processus de formation.
travailleurs_persistantsbooléenDéterminer s'il convient d'utiliser des threads de travail persistants. Les threads de travail persistants maintiennent une file d'attente d'échantillons de données, ce qui permet de charger les données plus efficacement.Peut entraîner une dégradation des performances du système, en particulier sur les systèmes disposant de ressources limitées telles que la mémoire ou les entrées/sorties sur disque.
taille_du_lotentier (math.)Spécifie le nombre d'échantillons inclus dans chaque lot. Des lots plus importants peuvent conduire à une formation plus efficace, mais peuvent également augmenter l'utilisation de la mémoire et ralentir la convergence.Une taille de lot trop importante peut entraîner un débordement de la mémoire et ralentir le processus de formation, tandis qu'une taille de lot trop faible peut entraîner une convergence lente.
num_epochsentier (math.)Spécifie le nombre de parcours complets à effectuer sur les données d'apprentissage. Un plus grand nombre de parcours permet d'obtenir un modèle plus précis, mais l'exécution prend plus de temps.Des temps de formation plus longs peuvent entraîner une suradaptation des données si l'on utilise un trop grand nombre de cycles.
save_every_n_epochsentier (math.)Indiquez la fréquence à laquelle le modèle doit être sauvegardé pendant la formation. Par exemple, la valeur 5 signifie que le modèle est sauvegardé tous les 5 tours.occupent plus d'espace de stockage car les modèles sont sauvegardés plus fréquemment.
shuffle_captions (mélanger les légendes)booléenSpécifie si les données d'apprentissage doivent être mélangées entre les cycles. Le brassage peut aider à empêcher le modèle de tomber dans des minima locaux, mais il peut aussi rendre l'apprentissage incohérent.Si l'ordre des données d'apprentissage est important, il peut en résulter un apprentissage incohérent.
keep_tokensentier (math.)Le corpus de textes utilisé pour l'apprentissage de la méthode la plus fréquente. Jeton Quantité. Les tokens dont la fréquence d'apparition est inférieure à keep_tokens seront remplacés par un token inconnu (""). Une valeur plus petite se traduira par un vocabulaire plus restreint, ce qui peut réduire les besoins en mémoire du modèle, mais peut également entraîner une perte d'informations.Si la valeur de keep_tokens est trop basse, des informations peuvent être perdues.
max_stepsentier (math.)Le nombre maximum de pas à effectuer pendant la formation. Une fois que le modèle a vu le lot de données max_steps, la formation s'arrête.Si max_steps est trop bas, le modèle risque de ne pas être complètement formé. S'il est trop élevé, l'apprentissage peut prendre beaucoup de temps.
Fichier texte de l'occurrence de l'étiquettechaîne de caractères (informatique)Chemin d'accès à un fichier texte contenant des informations sur l'occurrence des étiquettes. Ces informations sont utilisées pour pondérer la fonction de perte pendant l'apprentissage.Si les étiquettes semblent ne pas contenir d'informations disponibles ou ne sont pas spécifiées correctement, il se peut que le modèle n'ait pas été entraîné correctement.
tri_tag_occurrence_alphabetiquevrai ou fauxSi cette option vaut true, les balises du fichier tag_occurrence_txt_file seront triées par ordre alphabétique. Cette option peut être utilisée pour maintenir l'ordre des balises cohérent et s'assurer que les balises similaires sont regroupées.N/A
train_resolutionvaleur entièreCette valeur détermine la résolution de l'image d'apprentissage. Des résolutions plus élevées produiront des images plus détaillées, mais nécessiteront également plus de mémoire et de ressources informatiques.L'augmentation de la résolution peut accroître de manière significative le temps de formation et les besoins en mémoire, en particulier si les données de formation sont volumineuses.
résolution_du_bucket_minimumvaleur entièreCette valeur détermine la taille minimale du seau utilisé pour l'apprentissage. Une taille plus petite peut accélérer le processus de formation, mais peut également entraîner un surajustement ou réduire la qualité des résultats.Une réduction excessive de la taille du godet peut conduire à une formation moins efficace et à des résultats de moindre qualité.
max_bucket_resolutionentier (math.)Spécifie la résolution maximale de l'image des données d'apprentissage. Si la résolution des données d'apprentissage est supérieure à max_bucket_resolution, elles seront sous-échantillonnées.Une valeur élevée de max_bucket_resolution peut entraîner un temps d'apprentissage plus long et une utilisation plus importante de la mémoire, tandis qu'une valeur faible peut réduire la qualité de l'image générée.
lora_model_for_resumechaîne de caractères (informatique)Spécifie un chemin d'accès à un modèle LoRA pré-entraîné qui sera utilisé pour reprendre la formation à partir d'un point de contrôle précédent.La reprise de la formation à partir d'un modèle préformé peut conduire à un surajustement si les nouvelles données de formation sont sensiblement différentes des données de formation initiales.
save_statebooléenSpécifie s'il faut sauvegarder l'état de l'entraînement après chaque tour. Si la valeur est True, l'état de l'entraînement sera sauvegardé dans le fichier lora_model_for_resume.La sauvegarde fréquente des états de formation peut entraîner des durées de formation plus longues et une utilisation plus importante du disque.
load_previous_save_statevrai ou fauxSpécifie s'il faut charger l'état précédemment sauvegardé du modèle pendant la formation. Si la valeur est True, la formation reprendra à partir de l'état précédemment enregistré. S'il a la valeur False, la formation recommence à zéro.Si un état précédemment sauvegardé n'est pas disponible ou a été corrompu, la formation ne sera pas récupérée et la formation repartira de zéro, ce qui peut entraîner des temps de formation plus longs et une dégradation des performances.
commentaire_formationchaîne de caractères (informatique)Spécifie le commentaire qui sera ajouté au nom du modèle enregistré. Ce commentaire peut être utilisé pour distinguer les différents modèles formés avec des réglages ou des paramètres différents.ne pas avoir
unet_onlyvrai ou fauxSpécifie s'il faut entraîner uniquement les composants UNet du modèle. Si la valeur est True, seul le composant UNet du modèle sera entraîné et le composant codeur de texte ne sera pas entraîné. Si la valeur est fixée à False, les composants UNet et codeur de texte du modèle seront entraînés.L'entraînement du seul composant UNet du modèle peut entraîner des performances moindres que l'entraînement des deux composants en même temps, car le composant codeur de texte est une partie importante du modèle et permet d'encoder des informations textuelles dans le processus d'entraînement.
texte_seulvrai ou fauxDétermine si le modèle doit être entraîné sur le texte uniquement ou sur le texte et les images. La valeur True permet un entraînement plus rapide mais une génération d'images de moindre qualité. Si cette valeur est fixée à False, l'entraînement sera plus lent, mais la qualité de l'image générée sera meilleure.Si cette option est réglée sur True, l'image obtenue ne sera pas aussi précise ou détaillée que si elle est réglée sur False.
reg_img_folderchaîne de caractères (informatique)Chemin d'accès au répertoire d'images utilisé pour la formation.Cette option n'est pertinente que si text_only est défini sur False. Si aucune image n'est fournie, le modèle sera entraîné sur du texte uniquement et aucune image ne sera générée.
clip_skipvrai ou fauxDétermine si le modèle doit ignorer les images coupées dans les données d'apprentissage. Les images coupées sont celles dont la taille est trop petite ou trop grande par rapport à train_resolution.Si la valeur est True, le modèle peut ne pas être en mesure d'apprendre à partir de certaines images des données d'apprentissage. Si la valeur est fixée à False, l'apprentissage peut prendre plus de temps car le modèle doit traiter toutes les images, même celles qui ont été modifiées.
test_seedentier (math.)Spécifiez une graine aléatoire pour la génération et l'évaluation des données de test. La définition de la graine garantit que les mêmes données de test sont générées à chaque fois que le script est exécuté.Des semences différentes peuvent donner lieu à des données de test et à des résultats d'évaluation différents, ce qui rend difficile la comparaison des performances d'un cycle à l'autre.
poids_de_perte_antérieurevirgule flottanteSpécifier le poids du terme de perte préalable dans le calcul de la perte globale. Le terme de perte préalable est utilisé pour encourager le modèle à générer des sorties similaires à la distribution préalable des données d'apprentissage.Si les poids sont trop élevés, les résultats risquent d'être trop semblables aux précédents, ce qui réduit la créativité du modèle. Une pondération trop faible peut donner un résultat trop éloigné du précédent et pas assez cohérent.
gradient_checkpointingbooléenIndique s'il faut utiliser des points de contrôle de gradient pour réduire l'utilisation de la mémoire pendant l'apprentissage. Le contrôle du gradient implique l'enregistrement et le rechargement sélectifs des activations pendant la rétropropagation, ce qui réduit l'utilisation de la mémoire au prix d'une augmentation du temps de calcul.L'utilisation de points de contrôle du gradient peut ralentir le processus d'apprentissage et peut ne pas être nécessaire pour les petits modèles ou les appareils disposant d'une mémoire suffisante.
gradient_acc_stepsentier (math.)Spécifie le nombre d'étapes pour l'accumulation du gradient pendant la formation. L'augmentation de cette valeur réduit l'utilisation de la mémoire et favorise la stabilité de l'apprentissage.Des valeurs plus élevées de gradient_acc_steps augmentent le nombre d'opérations et peuvent ralentir le processus de formation.
précision_mixtebooléenIndique s'il faut utiliser la formation en précision mixte, qui utilise des types de données de faible précision pour accélérer la formation.L'entraînement avec une précision mixte peut entraîner une réduction de la précision et une instabilité de l'entraînement.
save_precisionvirgule flottanteSpécifie la précision à utiliser lors de l'enregistrement des poids du modèle. Cette valeur est généralement fixée à 32 ou 16, en fonction de la précision utilisée lors de l'apprentissage.Des valeurs de précision inférieures peuvent entraîner une perte d'informations lors de l'enregistrement des poids du modèle, ce qui se traduit par une précision moindre.
save_aschaîne de caractères (informatique)Spécifie le format de fichier dans lequel enregistrer le modèle d'apprentissage. Les formats pris en charge sont les suivants : ckpt, safetensors, pt, bin.Le format du fichier doit correspondre au type de modèle d'art AI de diffusion stable pour lequel le modèle LoRA sera utilisé.
caption_extensionchaîne de caractères (informatique)Spécifie l'extension du fichier texte contenant les en-têtes des données d'apprentissage.L'extension doit correspondre à l'extension réelle du fichier du titre.
longueur max_clip_tokenentier (math.)Indiquer le nombre maximum de jetons autorisés dans un seul titre. Les titres dépassant cette longueur seront ignorés pendant la formation.Des valeurs plus élevées peuvent augmenter l'utilisation de la mémoire pendant la formation. La définition d'une valeur inférieure peut entraîner la perte d'informations importantes dans l'en-tête.
seauxliste d'entiersSpécifiez la taille de l'algorithme des godets. Par exemple, si la valeur de buckets est [5,10,15], les données seront divisées en trois buckets : les données d'une longueur de 5 tokens seront placées dans un bucket, les données d'une longueur de 10 tokens seront placées dans un autre bucket et les données d'une longueur de 15 tokens seront placées dans le troisième bucket.Le nombre de godets et la taille des godets doivent être choisis avec soin pour obtenir de bons résultats. Si le nombre de godets est trop petit, le modèle risque de ne pas être performant, tandis que si le nombre de godets est trop grand, le modèle risque d'être surajusté.
xformateursliste de chaînesSpécifiez le transformateur à utiliser pendant la formation. Le transformateur peut être utilisé pour appliquer des techniques d'amélioration des données telles que le recadrage aléatoire, le retournement, la rotation, etc.Le choix du transformateur peut affecter considérablement les performances du modèle, il est donc important de sélectionner le transformateur le mieux adapté à la tâche particulière.
use_8bit_adambooléenIndique s'il faut utiliser l'optimiseur Adam 8 bits. Cette option peut être utilisée pour réduire les besoins en mémoire du processus de formation.Si cette option est réglée sur True, les besoins en mémoire pour le processus d'apprentissage seront réduits, mais l'apprentissage peut être plus lent et le modèle peut être moins précis.
cache_latentsbooléenSi la valeur est True, les valeurs potentielles des données d'apprentissage sont mises en cache afin d'accélérer l'apprentissage. Cela peut réduire le temps nécessaire à l'apprentissage du modèle, mais peut également utiliser plus de mémoire et augmenter le temps de démarrage de l'apprentissage.Augmentation de l'utilisation de la mémoire et ralentissement du démarrage.
couleur_augbooléenSi la valeur est True, l'amélioration des couleurs est effectuée pendant la formation. Cela peut accroître la diversité des données d'apprentissage, mais peut également ralentir l'apprentissage.Le temps de formation ralentit.
flip_augbooléenSi cette valeur est fixée à True, l'amélioration du retournement est effectuée pendant la formation. Cela peut accroître la diversité des données d'apprentissage, mais peut également ralentir l'apprentissage.Le temps de formation ralentit.
culture_aléatoireVrai/FauxIndique s'il faut appliquer un recadrage aléatoire à l'image d'apprentissage. Si la valeur est True, l'image d'apprentissage sera recadrée de manière aléatoire à la taille spécifiée avant d'être introduite dans le modèle.L'utilisation du recadrage aléatoire augmente la diversité des données d'apprentissage, mais elle augmente également le coût de calcul de l'apprentissage et peut ralentir le processus d'apprentissage.
vaeVrai/FauxIndique s'il faut utiliser un autocodeur variationnel (VAE) comme colonne vertébrale du modèle. Si la valeur est True, le modèle sera formé comme un VAE.L'utilisation de la VAE peut fournir une représentation plus souple des données, mais elle peut également rendre la formation plus difficile et nécessiter un réglage plus fin.
no_metaVrai/FauxIndique s'il faut exclure les métadonnées (par exemple, les étiquettes de catégorie, les attributs, etc.) du processus de formation. Si la valeur est True, le modèle n'aura accès à aucune métadonnée pendant la formation.L'exclusion des métadonnées peut simplifier le processus de formation, mais elle peut conduire à un modèle de moindre qualité qui ne tire pas parti des informations supplémentaires fournies par les métadonnées.
log_dirchaîne de caractères (informatique)Chemin d'accès au répertoire où sont stockés les fichiers journaux de formation.Si le répertoire existe déjà et n'est pas vide, l'entraînement peut écraser les journaux précédents stockés dans ce répertoire, ce qui entraîne une perte de données.
pas_de_seauentier (math.)Augmenter le nombre de pas de la résolution de l'image. La résolution de l'image commence à max_bucket_resolution et augmente d'un facteur 2 après chaque étape.Une valeur trop élevée peut entraîner des erreurs de mémoire et des temps d'apprentissage plus longs, car la taille de l'image augmente à chaque étape. Un réglage trop bas de cette valeur peut entraîner une baisse de la qualité de l'image.
bucket_no_upscalebooléenIndique s'il faut limiter l'augmentation de la résolution de l'image au-delà de sa taille d'origine.Si la valeur est True, la résolution de l'image n'augmentera pas au-delà de sa taille d'origine, ce qui peut entraîner une baisse de la qualité de l'image.
v2vrai ou fauxCe paramètre indique si la version 2 de l'architecture du modèle est utilisée.L'utilisation de différentes versions de l'architecture du modèle peut modifier la qualité et les performances de l'art généré. Il est donc important d'expérimenter et de comparer les résultats afin de déterminer la meilleure option pour une tâche donnée.
v_paramétragespectral_norm", "instance_norm" ou "batch_norm".Ce paramètre détermine la manière dont les paramètres du modèle sont normalisés pendant l'apprentissage. La normalisation spectrale, la normalisation d'instance et la normalisation par lots sont des approches différentes pour empêcher l'ajustement excessif, chacune avec ses propres compromis en termes de coût de calcul et de performance.Le choix d'une mauvaise méthode de normalisation peut avoir un impact négatif sur la performance du modèle. Il est donc important d'essayer différentes options pour déterminer celle qui convient le mieux à une tâche donnée.
© déclaration de droits d'auteur

Postes connexes

Pas de commentaires

Vous devez être connecté pour participer aux commentaires !
S'inscrire maintenant
aucun
Pas de commentaires...