Позвольте ChatGPT интерпретировать все параметры LoRA

База знаний по искусственному интеллектуОпубликовано 9 месяцев назад Круг обмена ИИ

5.9K 00

устанавливать	опции (как в настройках компьютерного программного обеспечения)	описания	недостатки
базовая_модель	Строковый путь к файлу базовой модели	Эта опция указывает путь к файлу базовой модели, который будет использоваться в качестве отправной точки для обучения новой модели. Модель будет точно настроена на новых данных.	Важно выбрать базовую модель, соответствующую задаче и данным, иначе процесс тонкой настройки может не улучшить производительность.
папка img_folder	Строковый путь к папке, содержащей учебные изображения	Этот параметр указывает путь к папке, содержащей тренировочные изображения, используемые для обучения модели.	Качество и количество обучающих изображений может значительно повлиять на производительность модели. Наличие достаточно разнообразных и качественных изображений имеет решающее значение для обучения модели.
папка_вывода	Строковый путь к папке, в которой хранится выходная модель	Этот параметр задает путь к папке, в которую сохраняется выходная модель после обучения.	В выходной папке должно быть достаточно места для сохранения файлов модели. Важно регулярно создавать резервные копии файлов модели, чтобы предотвратить потерю данных, которая может привести к потере работы.
change_output_name	булево	Указывает, следует ли изменять выходное имя обучающей модели. Если установлено значение True, выходное имя будет изменено, в противном случае оно останется неизменным.	Н/Д
save_json_folder	строка (информатика)	Путь к папке, в которой будут сохранены json-файлы обучающей модели.	Н/Д
load_json_path	строка (информатика)	Путь к json-файлу, который будет использоваться для загрузки параметров модели. Это полезно для продолжения обучения с предыдущей контрольной точки.	Файл, указанный load_json_path, должен существовать и быть правильным json-файлом.
json_load_skip_list	список строк	Указывает список строк для ключей в конфигурации модели, которые не загружаются в сохраненный .json-файл.	Если вы случайно включите необходимые ключи в json_load_skip_list, модель может работать не так, как ожидалось.
multi_run_folder	строка (информатика)	Имя папки, в которой хранятся результаты нескольких тренировок, в формате {multirun_folder}/run{run_number}/.	Если выполнить несколько запусков без изменения имени папки multi_run_folder, предыдущие результаты будут перезаписаны.
сохранять_json_only	булево	Если установлено значение True, сохраняется только файл конфигурации модели (формат .json), а не все контрольные точки модели.	Сам по себе файл .json не восстановит модель, и если для параметра save_json_only установлено значение True, вам придется начать обучение с нуля.
caption_dropout_rate	Числа с плавающей точкой от 0 до 1	Задает частоту случайного отбрасывания названий во время обучения.	Если это значение слишком велико, важная информация в заголовке может быть потеряна, что приведет к снижению качества результатов.
caption_dropout_every_n_epochs	целое число (матем.)	Укажите частоту (в раундах), с которой происходит сброс титулов во время обучения.	Если установить слишком высокое значение, модель может не получить достаточного разнообразия заголовков во время обучения, что приведет к перестройке. Если установить слишком низкое значение, модель может не успеть обучиться на заголовках, прежде чем будет отброшена.
caption_tag_dropout_rate	Числа с плавающей точкой от 0 до 1	Управляет частотой случайного отбрасывания названий при обучении модели. Высокое значение означает, что будет отброшено больше названий, а низкое - меньше.	Установка высоких значений может привести к потере важной информации в заголовке, что приведет к снижению качества результатов.
net_dim	целое число (матем.)	Этот параметр определяет количество скрытых блоков в сетевой архитектуре модели. Большие значения net_dim приводят к созданию более сложной и крупной модели, но также требуют больше вычислительных ресурсов и могут привести к перестройке модели, если она слишком велика, а обучающих данных недостаточно.	Переоценка, увеличение вычислительных ресурсов
альфа	плавающая точка	Эта настройка определяет способность к обучению, используемую во время тренировки. Большие значения альфа могут привести к ускорению сходимости, но если установить их слишком высокими, то это может привести к чрезмерной подгонке модели или сходимости к неоптимальным решениям. Меньшие значения альфа могут привести к медленной сходимости или вообще не сходиться.	Субоптимальное решение, медленная сходимость
планировщик	строка (информатика)	Этот параметр определяет график скорости обучения, используемый во время тренировки. Обычно выбираются следующие варианты: "шаг", "косинус" и "плато". План "шаг" уменьшает скорость обучения на фиксированный коэффициент после определенного количества итераций, а план "косинус" уменьшает скорость обучения на косинусную функцию. План "плато" снижает скорость обучения, когда потери при валидации перестают улучшаться.	Субоптимальное решение, медленная сходимость, трудности с выбором подходящего плана
cosine_restarts	целое число (матем.)	Количество перезапусков схемы косинусного отжига. Большее число перезапусков позволяет чаще менять скорость обучения, снижая риск попадания в неоптимальную скорость обучения.	Увеличение числа перезапусков может привести к более частым изменениям скорости обучения, что сделает процесс обучения более нестабильным и трудно корректируемым.
мощность планировщика	плавающая точка	Параметр мощности планировщика. Большие значения мощности означают, что скорость обучения изменяется медленнее.	Установка более высоких значений мощности может привести к тому, что скорость обучения будет слишком медленной, чтобы сходиться за разумное время. С другой стороны, установка более низких значений мощности может привести к слишком агрессивной скорости обучения, в результате чего модель будет чрезмерно соответствовать обучающим данным.
прогрев_lr_ratio	плавающая точка	Отношение максимальной скорости обучения к начальной скорости обучения в период прогрева. Скорость обучения постепенно увеличивается от начального значения до максимального.	Высокий коэффициент скорости обучения при разминке может привести к тому, что модель будет сходиться медленно или не сходиться вообще. С другой стороны, низкий коэффициент скорости обучения при прогреве может привести к тому, что скорость обучения будет слишком низкой для эффективного обучения модели.
скорость обучения	плавающая точка	Эта опция задает скорость обучения оптимизатора, используемого для обучения модели. Она определяет размер шага, с которым оптимизатор обновляет параметры модели. Значение по умолчанию - 0,0001.	Высокая скорость обучения может привести к тому, что модель слишком быстро сходится к неоптимальному решению, в то время как низкая скорость обучения может привести к медленному процессу обучения, в результате которого модель сходится к плохому решению. Скорость обучения должна быть тщательно настроена, чтобы сбалансировать эти компромиссы.
text_encoder_lr	плавающая точка	Эта опция задает скорость обучения компонента текстового кодировщика модели. Если это значение отличается от параметра learning_rate, это позволяет произвести специальную тонкую настройку кодировщика текста.	Установка значения text_encoder_lr, отличного от learning_rate, может привести к чрезмерной подгонке кодировщика текста и плохому обобщению на новые данные.
unet_lr	плавающая точка	Эта опция задает скорость обучения компонента UNet в модели. Если это значение отличается от значения learning_rate, это позволяет более точно настроить UNet.	Установка unet_lr в значение, отличное от learning_rate, может привести к чрезмерной подгонке UNet и плохому обобщению на новые данные.
num_workers	целое число (матем.)	Указывает количество рабочих потоков для загрузки данных. Увеличение числа рабочих потоков может ускорить загрузку данных и обучение, но при этом может увеличить расход памяти.	Слишком большое количество рабочих потоков может привести к переполнению памяти и замедлить процесс обучения.
постоянные_работники	булево	Определите, нужно ли использовать постоянные рабочие потоки. Постоянные рабочие потоки поддерживают очередь образцов данных, что позволяет загружать данные более эффективно.	Может привести к снижению производительности системы, особенно в системах с ограниченными ресурсами, такими как память или дисковый ввод-вывод.
размер партии	целое число (матем.)	Определяет количество образцов, включаемых в каждую партию. Большие размеры партии могут привести к более эффективному обучению, но могут также увеличить объем памяти и замедлить сходимость.	Слишком большой размер партии может привести к переполнению памяти и замедлить процесс обучения, а слишком маленький размер партии может привести к медленной сходимости.
num_epochs	целое число (матем.)	Указывает, сколько полных обходов должно быть выполнено для обучающих данных. Большее количество обходов приведет к созданию более точной модели, но также потребует больше времени на выполнение.	Более длительное время обучения может привести к чрезмерной подгонке данных, если используется слишком много раундов.
сохранять_каждое_несколько_эпох	целое число (матем.)	Укажите, как часто модель должна сохраняться во время обучения. Например, значение 5 означает, что модель будет сохраняться каждые 5 раундов.	занимают больше места в памяти, поскольку модели сохраняются чаще.
shuffle_captions	булево	Указывает, следует ли перемешивать обучающие данные между раундами. Перемешивание может помочь предотвратить попадание модели в локальные минимумы, но также может сделать обучение непоследовательным.	Если порядок обучающих данных значителен, это может привести к непоследовательности обучения.
keep_tokens	целое число (матем.)	Корпус текстов, используемый для обучения наиболее частому Токен Количество. Токен с частотой встречаемости меньше keep_tokens будет заменен на неизвестный токен (""). Меньшее значение приводит к уменьшению объема словаря, что может снизить требования к памяти модели, но также может привести к потере информации.	Если значение keep_tokens слишком мало, информация может быть потеряна.
max_steps	целое число (матем.)	Максимальное количество шагов, которое будет сделано во время обучения. Как только модель увидит пакет данных max_steps, обучение прекратится.	Если значение max_steps слишком мало, модель может быть обучена не полностью. При слишком высоком значении обучение может занять много времени.
tag_occurrence_txt_file	строка (информатика)	Путь к текстовому файлу, содержащему информацию о встречаемости меток. Информация о встречаемости меток используется для взвешивания функции потерь во время обучения.	Если метки содержат недоступную информацию или заданы неверно, возможно, модель обучена неправильно.
сортировать_теги_по_алфавиту	истинный или ложный	Если установлено значение true, теги в файле tag_occurrence_txt_file будут отсортированы в алфавитном порядке. Эта опция может быть использована для сохранения последовательности тегов и обеспечения того, чтобы похожие теги были сгруппированы вместе.	Н/Д
train_resolution	целое значение	Это значение определяет разрешение учебного изображения. Более высокое разрешение позволяет получить более детальные изображения, но также требует больше памяти и вычислительных ресурсов.	Увеличение разрешения может значительно увеличить время обучения и требования к памяти, особенно если объем обучающих данных велик.
min_bucket_resolution	целое значение	Это значение определяет минимальный размер ведра, используемого для обучения. Меньший размер ведра может привести к ускорению процесса обучения, но также может вызвать перебор с подгонкой или снизить качество результатов.	Чрезмерное уменьшение размера ковша может привести к снижению эффективности обучения и качества результатов.
максимальное_разрешение_ковша	целое число (матем.)	Задает максимальное разрешение изображения в обучающих данных. Если разрешение обучающих данных больше, чем max_bucket_resolution, они будут уменьшены.	Высокое значение max_bucket_resolution может привести к увеличению времени обучения и потреблению памяти, а низкое значение может снизить качество генерируемого изображения.
lora_model_for_resume	строка (информатика)	Указывает путь к предварительно обученной модели LoRA, которая будет использоваться для возобновления обучения с предыдущей контрольной точки.	Возобновление обучения на основе предварительно обученной модели может привести к чрезмерной подгонке, если новые обучающие данные значительно отличаются от исходных.
сохранить_состояние	булево	Указывает, сохранять ли состояние обучения после каждого раунда. Если установлено значение True, состояние обучения будет сохранено в файле lora_model_for_resume.	Частое сохранение состояний обучения может привести к увеличению времени обучения и повышению нагрузки на диск.
load_previous_save_state	истинный или ложный	Указывает, загружать ли ранее сохраненное состояние модели во время обучения. Если установлено значение True, обучение будет возобновлено с ранее сохраненного состояния. Если установлено значение False, обучение начнется с нуля.	Если ранее сохраненное состояние недоступно или повреждено, обучение не будет восстановлено, и оно начнется с нуля, что может привести к увеличению времени обучения и снижению производительности.
учебный_комментарий	строка (информатика)	Указывает комментарий, который будет добавлен к имени сохраненной модели. Это можно использовать для различения разных моделей, созданных с разными настройками или параметрами.	не иметь
unet_only	истинный или ложный	Указывает, следует ли обучать только компоненты UNet модели. Если установлено значение True, будет обучен только компонент UNet модели, а компонент кодировщика текста обучен не будет. Если установлено значение False, будут обучены оба компонента модели - UNet и кодировщик текста.	Обучение только компонента UNet модели может привести к снижению производительности по сравнению с одновременным обучением обоих компонентов, поскольку компонент кодировщика текста является важной частью модели и помогает кодировать текстовую информацию в процессе обучения.
только текст	истинный или ложный	Определяет, обучать ли модель только на тексте или и на тексте, и на изображениях. Если установить значение True, обучение будет проходить быстрее, но качество изображения будет ниже. Установка значения False приведет к более медленному обучению, но более качественной генерации изображений.	Если установить значение True, полученное изображение будет не таким точным и детализированным, как при значении False.
reg_img_folder	строка (информатика)	Путь к каталогу изображений, используемых для обучения.	Эта опция актуальна только в том случае, если для параметра text_only установлено значение False. Если изображения не указаны, модель будет обучаться только на тексте, и изображения генерироваться не будут.
clip_skip	истинный или ложный	Определяет, должна ли модель пропускать обрезанные изображения в обучающих данных. Обрезанные изображения - это те, размер которых либо слишком мал, либо слишком велик по сравнению с разрешением train_resolution.	Если установлено значение True, модель может не обучаться на некоторых изображениях в обучающих данных. Если установить значение False, обучение может занять больше времени, поскольку модель должна обработать все изображения, даже отредактированные.
тестовое_семя	целое число (матем.)	Задайте случайное зерно для генерации и оценки тестовых данных. Задание семени гарантирует, что при каждом запуске сценария будут генерироваться одни и те же тестовые данные.	Разные семена могут приводить к разным тестовым данным и результатам оценки, что затрудняет сравнение производительности в разных прогонах.
предыдущий_потерянный_вес	плавающая точка	Укажите вес члена предварительных потерь в общем расчете потерь. Член предшествующих потерь используется для того, чтобы побудить модель генерировать результаты, схожие с предшествующим распределением обучающих данных.	Слишком высокие значения весов могут привести к получению результатов, слишком похожих на предыдущие, что снизит творческий потенциал модели. Слишком низкое значение весов может привести к тому, что результат будет слишком далек от предыдущего и недостаточно целостен.
градиентное_определение	булево	Указывает, использовать ли градиентные контрольные точки для уменьшения использования памяти во время обучения. Градиентные контрольные точки включают выборочное сохранение и перезагрузку активаций во время обратного распространения, что сокращает использование памяти ценой увеличения времени вычислений.	Использование градиентных контрольных точек может замедлить процесс обучения и может быть необязательным для небольших моделей или устройств с достаточным объемом памяти.
gradient_acc_steps	целое число (матем.)	Определяет количество шагов для накопления градиента во время обучения. Увеличение этого значения снижает потребление памяти и повышает стабильность обучения.	Большие значения gradient_acc_steps увеличивают количество операций и могут замедлить процесс обучения.
смешанная точность	булево	Указывает, следует ли использовать обучение со смешанной точностью, которое использует типы данных с низкой точностью для ускорения обучения.	Обучение со смешанной точностью может привести к снижению точности и нестабильному обучению.
сохранять_точность	плавающая точка	Указывает точность, которую следует использовать при сохранении весов модели. Обычно устанавливается на 32 или 16 в зависимости от точности, используемой во время обучения.	Более низкие значения точности могут привести к потере информации при сохранении весов модели, что приведет к снижению точности.
save_as	строка (информатика)	Указывает формат файла, в котором будет сохранена обучающая модель. Поддерживаются следующие форматы: ckpt, safetensors, pt, bin.	Формат файла должен соответствовать типу художественной модели Stable Diffusion AI, для которой будет использоваться модель LoRA.
caption_extension	строка (информатика)	Указывает расширение текстового файла, содержащего заголовки обучающих данных.	Расширение должно соответствовать реальному расширению файла заголовка.
max_clip_token_length	целое число (матем.)	Укажите максимальное количество Token, допустимое в одном заголовке. Заголовки, превышающие эту длину, будут пропускаться во время обучения.	Установка больших значений может увеличить расход памяти во время обучения. Установка меньшего значения может привести к потере важной информации в заголовке.
ведра	список целых чисел	Укажите размер алгоритма buckets. Например, если для buckets установлено значение [5,10,15], данные будут разделены на три ведра, данные длиной 5 Token будут находиться в одном ведре, данные длиной 10 Token - в другом, а данные длиной 15 Token - в третьем.	Для достижения хороших результатов необходимо тщательно выбирать количество ведер и их размер. Если количество ведер слишком мало, модель может работать плохо, а если количество ведер слишком велико, модель может быть перекорректирована.
xformers	список строк	Укажите трансформатор, который будет использоваться во время обучения. Трансформатор может быть использован для применения таких методов улучшения данных, как произвольное обрезание, переворачивание, вращение и т. д.	Выбор трансформатора может значительно повлиять на производительность модели, поэтому важно выбрать трансформатор, который лучше всего подходит для конкретной задачи.
use_8bit_adam	булево	Указывает, использовать ли 8-битный оптимизатор Адама. Эта опция может быть использована для снижения требований к памяти для процесса обучения.	Если установить значение True, требования к памяти для процесса обучения уменьшатся, но обучение может проходить медленнее, а модель может быть менее точной.
кэш_латенты	булево	Если установлено значение True, потенциальные значения обучающих данных кэшируются для ускорения обучения. Это может сократить время обучения модели, но может также использовать больше памяти и увеличить время начала обучения.	Повышенное потребление памяти и замедленное время запуска.
цвет_уг	булево	Если установлено значение True, во время обучения выполняется улучшение цвета. Это может увеличить разнообразие обучающих данных, но может и замедлить обучение.	Время тренировок замедляется.
flip_aug	булево	Если установлено значение True, то во время обучения выполняется усиление флипа. Это может увеличить разнообразие обучающих данных, но может и замедлить обучение.	Время тренировок замедляется.
случайная_урожайность	Правда/Ложь	Указывает, следует ли применять случайную обрезку к обучающему изображению. Если установлено значение True, то перед вводом в модель обучающее изображение будет случайным образом обрезано до указанного размера.	Использование случайной обрезки повышает разнообразие обучающих данных, но при этом увеличивает вычислительные затраты на обучение и может замедлить процесс обучения.
vae	Правда/Ложь	Указывает, использовать ли вариационный автокодер (VAE) в качестве основы модели. Если установлено значение True, модель будет обучаться как VAE.	Использование VAE может обеспечить более гибкое представление данных, но оно также может усложнить обучение и потребовать более тонкой настройки.
no_meta	Правда/Ложь	Указывает, следует ли исключить метаданные (например, теги категорий, атрибуты и т. д.) из процесса обучения. Если установлено значение True, модель не будет иметь доступа к метаданным во время обучения.	Исключение метаданных может упростить процесс обучения, но это может привести к созданию модели более низкого качества, не использующей дополнительную информацию, предоставляемую метаданными.
log_dir	строка (информатика)	Путь к каталогу, в котором хранятся файлы журнала обучения.	Если каталог уже существует и не является пустым, обучение может перезаписать предыдущие журналы, хранящиеся в этом каталоге, что приведет к потере данных.
bucket_reso_steps	целое число (матем.)	Увеличьте количество шагов для разрешения изображения. Разрешение изображения начинается с max_bucket_resolution и увеличивается в 2 раза после каждого шага.	Слишком высокое значение может привести к ошибкам памяти и увеличению времени обучения, поскольку размер изображения увеличивается на каждом шаге. Слишком низкое значение может привести к снижению качества изображения.
bucket_no_upscale	булево	Указывает, следует ли ограничить увеличение разрешения изображения сверх его исходного размера.	Если установлено значение True, разрешение изображения не будет увеличиваться сверх исходного размера, что может привести к снижению качества изображения.
v2	истинный или ложный	Этот параметр определяет, используется ли версия 2 архитектуры модели.	Использование различных версий архитектуры модели может изменить качество и производительность генерируемого искусства, поэтому важно экспериментировать и сравнивать результаты, чтобы определить наилучший вариант для конкретной задачи.
v_параметризация	spectral_norm", "instance_norm" или "batch_norm".	Эта настройка определяет, как нормализуются параметры модели во время обучения. Спектральная нормализация, нормализация экземпляра и пакетная нормализация - это различные подходы к предотвращению перебора, каждый из которых имеет свои компромиссы с точки зрения вычислительных затрат и производительности.	Выбор неправильного метода нормализации может негативно сказаться на производительности модели, поэтому важно опробовать различные варианты, чтобы определить, какой из них лучше всего подходит для конкретной задачи.