Meta: подход к адаптации (практическому применению) больших языковых моделей

Это первая из трех частей серии статей в блоге, посвященных адаптации больших языковых моделей (LLM) с открытым исходным кодом. В этой статье мы узнаем о различных методах адаптации LLM к данным домена.

Большие языковые модели (LLM) в широком спектре языковых задач и обработке естественного языка (NLP) бенчмаркингКоличество примеров использования продуктов, основанных на этих "общих" моделях, растет. Количество примеров использования продуктов, основанных на этих "общих" моделях, растет. В этом блоге мы дадим рекомендации для небольших команд разработчиков ИИ-продуктов, которые хотят адаптировать и интегрировать LLM в свои проекты. Начнем с прояснения (часто запутанной) терминологии, связанной с LLM, затем кратко сравним различные подходы к адаптации и, наконец, порекомендуем пошаговую блок-схему для определения правильного подхода для вашего случая использования.

предтренировочный курс

Предварительное обучение - это использование триллионов данных. жетоны Процесс обучения LLM с нуля. Модели обучаются с помощью алгоритмов самоконтроля. Чаще всего обучение предсказывает с помощью авторегрессии следующее жетон для выполнения (так называемое каузальное моделирование языка). Предварительное обучение обычно занимает тысячи часов работы GPU (105 - 107 [источник1, источник2]) распределяются между несколькими графическими процессорами. Предварительно обученная модель вывода называется базовая модель.

Непрерывная предварительная подготовка

Непрерывное предварительное обучение (также известное как двухэтапное предварительное обучение) включает в себя дальнейшее обучение базовой модели на новых, невидимых данных о домене. При этом используется тот же алгоритм самоконтроля, что и при первоначальном предварительном обучении. Как правило, изменяются все веса модели и часть исходных данных смешивается с новыми.

тонкая настройка

Тонкая настройка - это процесс адаптации предварительно обученной языковой модели с использованием аннотированного набора данных под наблюдением или с помощью методов обучения с подкреплением. По сравнению с предварительным обучением есть два основных отличия:

Есть два аспекта понимания текущей сетки тонкой настройки: процент измененных параметров и новые возможности, добавленные в результате тонкой настройки.

Процент изменения параметров

Существует два типа алгоритмов в зависимости от количества изменяемых параметров:

Возможность дополнить базовую модель

Целью тонкой настройки является добавление возможностей к предварительно обученным моделям - например, следование инструкциям, согласование с людьми и т. д. Llama 2 для настройки диалога - это тонкая настройка модели с возможностью добавления следования инструкциям и выравнивания. типичный пример.

Поиск расширенной генерации (RAG)

Организации также могут адаптироваться к LLM, добавляя базы знаний по конкретной области.RAG - это, по сути, "генерация текста LLM на основе поиска".RAG, который будет запущен в 2020 году, использует динамические контексты подсказок, полученные на основе вопроса пользователя и снабженные подсказками LLM, чтобы направить его на использование найденного контента вместо предварительно обученных - и потенциально устаревших - знаний. -знания.Чат LangChain популярный пример чатбота для вопросов и ответов по документам на основе RAG с LangChain.

Контекстное обучение (ICL)

В ICL мы адаптировали LLM, поместив в подсказки примеры прототипов, и несколько исследований показали, что "демонстрация на примере" эффективна. Эти примеры могут содержать различные типы информации:

Существует множество других стратегий изменения подсказок, которыеРуководство по проектированию наконечниковВключен всеобъемлющий обзор.

Чтобы решить, какой из перечисленных методов подходит для конкретного приложения, необходимо учитывать различные факторы: возможности модели, необходимые для решения поставленной задачи, стоимость обучения, стоимость вывода, тип набора данных и так далее. На блок-схеме ниже приведены наши рекомендации, которые помогут вам выбрать подходящий метод адаптации Большой языковой модели (LLM).

❌ Предварительная подготовка

Предварительное обучение - важная часть обучения LLM, использующая варианты предсказания токенов в качестве функций потерь. Его самоконтролируемая природа позволяет проводить обучение на больших объемах данных. Например, Llama 2 была обучена на 2 триллионах токенов. Это требует огромной вычислительной инфраструктуры: стоимость Llama 2 70B 1 720 320 часов работы графического процессора. Поэтому мы не рекомендуем предварительное обучение как эффективный метод адаптации LLM для команд с ограниченными ресурсами.

Поскольку предварительное обучение требует больших вычислительных затрат, обновление весов уже предварительно обученной модели может стать эффективным способом адаптации LLM к конкретной задаче. Любой подход к обновлению весов предварительно обученной модели подвержен явлению катастрофического забывания - термину, используемому для описания того, как модель забывает ранее полученные навыки и знания. Например.данное исследованиепоказывает, что модели, прошедшие тонкую настройку в медицинской области, хуже справляются с заданиями на следование инструкциям и обычными вопросами и ответами. Другие исследования также показали, что общие знания, полученные в ходе предварительного обучения, могут быть забыты во время последующего обучения. Например.данное исследованиеНекоторые свидетельства забывания знаний LLM представлены с точки зрения знаний о предметной области, рассуждений и понимания прочитанного.

❌ Непрерывная предварительная подготовка

Учитывая катастрофическое забывание, последние разработки показывают, что непрерывное предварительное обучение (НПО) может еще больше повысить производительность при меньших вычислительных затратах, необходимых для предварительного обучения. CPT может быть полезно для задач, требующих от LLM приобретения новых навыков преобразования. Например.Сообщается, что...Непрерывное предварительное обучение успешно способствует развитию многоязычия.

Однако CPT по-прежнему остается дорогостоящим процессом, требующим значительных данных и вычислительных ресурсов. Например, набор Pythia прошел второй этап предварительного обучения, в результате которого были созданы ФинПития-6.9BЭта модель разработана для финансовых данных. Эта модель, разработанная специально для финансовых данных, была подвергнута 18-дневному CPT с использованием набора данных, содержащего 24 миллиарда токенов. Кроме того, CPT подвержен катастрофическому забыванию. Поэтому мы не рекомендуем использовать непрерывное предварительное обучение как эффективный подход к адаптации LLM для команд с ограниченными ресурсами.

В заключение следует отметить, что использование алгоритмов самоконтроля и немаркированных наборов данных для адаптации LLM (как это делается при предварительном и непрерывном предварительном обучении) требует больших ресурсов и затрат и не рекомендуется в качестве жизнеспособного подхода.

✅ Полная тонкая настройка и параметрическая эффективная тонкая настройка (PEFT)

Тонкая настройка на небольших наборах данных с метками - более экономичный подход, чем предварительное обучение на наборах данных без меток. Адаптируя предварительно обученную модель к конкретной задаче, можно добиться наилучших результатов в широком спектре приложений и специализаций (например, юридических, медицинских или финансовых).

Тонкая настройка, особенно параметрическая эффективная тонкая настройка (PEFT), требует лишь малой доли вычислительных ресурсов, необходимых для предварительного/непрерывного предварительного обучения. Таким образом, это приемлемый метод адаптации LLM для команд с ограниченными ресурсами. В этой серииЧасть 3В ней мы подробно рассказываем о тонкой настройке, включая полную тонкую настройку, PEFT и практическое руководство по ее выполнению.

✅ Извлечение дополненного поколения (RAG)

RAG - еще один популярный метод адаптации LLM. Если вашему приложению необходимо извлекать информацию из динамической базы знаний (например, боту для викторины), RAG может стать хорошим решением. Сложность системы на основе RAG заключается в основном в реализации поискового механизма. Стоимость аргументации в таких системах может быть выше, поскольку подсказки включают в себя извлеченные документы, а большинство провайдеров используют модель на основе маркеров. В этой серииЧасть 2в которой мы обсуждаем RAG в более широком смысле и сравниваем его с тонкой настройкой.

✅ Контекстное обучение (ICL)

Это наиболее экономичный способ адаптации LLM. ICL не требует дополнительных обучающих данных или вычислительных ресурсов, что делает его экономически эффективным подходом. Однако, как и в случае с RAG, стоимость и задержка вывода могут увеличиться из-за обработки большего количества лексем в момент вывода.

Создание системы на основе LLM - это итеративный процесс. Мы рекомендуем начать с простого подхода и постепенно повышать сложность, пока не достигнете своей цели. Приведенная выше блок-схема описывает этот итерационный процесс и обеспечивает прочную основу для вашей стратегии адаптации LLM.

Мы благодарим Сураджа Субраманиана и Варуна Вонтимитту за конструктивные замечания по организации и подготовке этой статьи.

Это вторая из серии записей в блоге об адаптации больших языковых моделей (LLM) с открытым исходным кодом. В этом посте мы обсудим следующий вопрос: "Когда следует проводить тонкую настройку, а когда стоит обратить внимание на другие технологии?"

До появления больших языковых моделей тонкая настройка обычно использовалась для моделей меньшего масштаба (100-300 миллионов параметров). Наиболее продвинутые доменные приложения были построены с использованием контролируемой тонкой настройки (SFT) - то есть предварительно обученные модели обучались на аннотированных данных из собственного домена и последующих задач. Однако с появлением больших моделей (> 1 млрд параметров) вопрос тонкой настройки становится более тонким. Самое главное, что большие модели требуют больше ресурсов и коммерческого оборудования для тонкой настройки. В таблице 1 ниже приведен список пиковых значений использования памяти GPU для тонкой настройки моделей Llama 2 7B и Llama 2 13B в трех сценариях. Вы можете заметить, что такие модели, как QLoRA Такие алгоритмы облегчают тонкую настройку больших моделей с использованием ограниченных ресурсов. Например, в таблице 1 показан пиковый объем памяти GPU для трех сценариев тонкой настройки (полная тонкая настройка, LoRA и QLoRA) на Llama 2 7B. Аналогичное сокращение памяти в результате параметрической эффективной тонкой настройки (PEFT) или квантования также показано на Llama 1. отчетность Прием. Помимо вычислительных ресурсов, катастрофическое забывание (подробнее см. в этой серии Часть I) является общим недостатком точной настройки всех параметров. Метод PEFT направлен на устранение этих недостатков путем обучения небольшого числа параметров.

Таблица 1: Память (ГБ) на LLama 2 7B для различных методов тонкой настройки (источник (информации и т.д.)Для количественной оценки QLoRA используется 4-битное значение NormalFloat.

Прототипы, которые могут выиграть от доработки

Мы определили следующие сценарии как распространенные варианты использования, которые могут выиграть от доработки:

Тонкая настройка по сравнению с контекстным (менее выборочным) обучением

Контекстное обучение (ICL) - это мощный способ повысить производительность систем, основанных на больших языковых моделях. Учитывая его простоту, вам следует попробовать ICL, прежде чем приступать к тонкой настройке. Кроме того, эксперименты с ICL помогут вам оценить, улучшает ли тонкая настройка производительность последующих задач. При использовании ICL обычно учитываются следующие моменты:

тонкая настройка против. и РАГ

По общему мнению, когда базовая производительность большой языковой модели неудовлетворительна, можно "начать с RAG, оценить ее производительность и перейти к тонкой настройке, если она окажется недостаточной", или "RAG может иметь преимущества" перед тонкой настройкой (источник (информации и т.д.)). Однако мы считаем, что эта парадигма является чрезмерным упрощением, поскольку во многих случаях RAG не только не является альтернативой тонкой настройке, но скорее дополняет ее. В зависимости от особенностей проблемы следует попробовать один или, возможно, оба подхода. Принятие эта статья Вот несколько вопросов, которые вы можете задать, чтобы определить, подходит ли для вашей проблемы тонкая настройка или RAG (а возможно, и то, и другое):

В большинстве случаев наилучшие результаты дает гибридное решение, включающее тонкую настройку и RAG, и тогда встает вопрос о стоимости, времени и дополнительной выгоде от одновременного применения обоих методов. Обратитесь к приведенным выше вопросам, чтобы принять решение о необходимости RAG и/или тонкой настройки, и проведите внутренние эксперименты, проанализировав ошибки, чтобы понять возможный прирост метрик. Наконец, для изучения тонкой настройки необходима надежная стратегия сбора и улучшения данных, которую мы рекомендуем использовать в качестве предварительного условия для начала тонкой настройки.

Мы благодарим Сураджа Субраманиана и Варуна Вонтимитту за конструктивные замечания по организации и подготовке этой статьи.

Это третья статья из серии блогов об адаптации больших языковых моделей (LLM) с открытым исходным кодом. В этой статье мы рассмотрим некоторые правила составления качественных обучающих наборов данных.

Тонкая настройка LLM - это сочетание искусства и науки, и лучшие практики в этой области еще только формируются. В этой статье блога мы сосредоточимся на переменных дизайна тонкой настройки и дадим рекомендации по лучшей практике тонкой настройки моделей в условиях ограниченных ресурсов. Мы предлагаем следующую информацию в качестве отправной точки для разработки стратегии экспериментов по тонкой настройке.

Весь объем тонкой настройки и PEFT в академия ответить пением практическое применение Все они, как было показано, улучшают производительность последующих задач при применении в новых областях. Выбор одного из них в конечном итоге зависит от доступных вычислительных ресурсов (в смысле часов работы GPU и памяти GPU), производительности на задачах, отличных от целевой задачи (компромисс "научиться-забыть"), и стоимости ручного аннотирования.

Полнообъемная тонкая настройка, скорее всего, будет страдать от двух проблем:крушение модели ответить пением катаклизмическое забытье. Коллапс модели - это когда выход модели сходится к конечному набору выходов, а хвосты исходного распределения содержания исчезают. Катастрофическое забывание, как в этой серии Часть I Обсуждаемые вопросы могут привести к тому, что модель потеряет свою силу. Некоторые первые эмпирические исследования показали, чтоПо сравнению с техникой PEFT, техника тонкой настройки полного объема более подвержена этим проблемамХотя необходимы дополнительные исследования.

Метод PEFT может быть разработан как естественный регуляризатор для тонкой настройки. PEFT обычно требует относительно мало вычислительных ресурсов для обучения последующих моделей, и его легче использовать в сценариях с ограниченными ресурсами и ограниченным объемом наборов данных. В некоторых случаях полная тонкая настройка лучше справляется с конкретными задачами, но обычно ценой утраты некоторых возможностей исходной модели. Этот компромисс "научиться забывать" между производительностью на конкретной задаче и производительностью на других задачах легче использовать в Эта статья. Подробное сравнение LoRA и полной тонкой настройки представлено в статье.

Учитывая ограниченность ресурсов, метод PEFT может обеспечить лучшее соотношение производительности и затрат, чем полная тонкая настройка. Если производительность нисходящего потока является критически важной в условиях ограниченных ресурсов, наиболее эффективной будет полнообъемная тонкая настройка. В любом случае для создания высококачественных наборов данных важно придерживаться следующих ключевых принципов.

В экспериментах по тонкой настройке, проводимых в литературе, наборы данных имеют решающее значение для получения преимуществ тонкой настройки. Здесь больше нюансов, чем просто "лучшее качество и больше примеров", и вы можете разумно инвестировать в сбор наборов данных, чтобы улучшить производительность в экспериментах по тонкой настройке с ограниченными ресурсами.

Качество/количество данных

Разнообразие данных

Проще говоря, если вы перетренируете модель на определенном типе ответа, она будет предвзято давать именно этот ответ, а то и самый подходящий. Правило здесь такое: убедитесь, что обучающие данные максимально отражают то, как модель должна вести себя в реальном мире.

Конвейер данных на основе LLM

Чтобы собрать высококачественные и разнообразные наборы данных, конвейеры обработки данных часто используют LLM для снижения затрат на аннотирование. На практике встречаются следующие приемы:

Отладка вашего набора данных

Тонкая настройка - ключевой аспект в разработке большой языковой модели, требующий тонкого баланса между искусством и наукой. Качество и курирование набора данных играет важную роль в успехе тонкой настройки, аНебольшие тонко настроенные модели больших языков, как правило, превосходят более крупные модели при решении конкретных задач. После принятия решения о тонкой настройке Руководство по тонкой настройке ламы обеспечивает надежную отправную точку. Собственный характер портфеля наборов данных для тонкой настройки препятствует обмену передовым опытом и открытому доступу к исходному коду. По мере развития этой области мы ожидаем появления общих лучших практик, сохраняя при этом творческий подход и адаптивность тонкой настройки.

Мы благодарим Сураджа Субраманиана и Варуна Вонтимитту за конструктивные замечания по организации и подготовке этой статьи.