CLOB: непрерывное обучение серии заданий с помощью большой языковой модели, использующей только слова-подсказки

Оригинальный текст:https://arxiv.org/pdf/2412.15479

Интерпретация:Эта статья сама по себе не очень инновационная и малоприменимая. Однако она напомнила мне о трех очень информативных статьях, которые я читал очень, очень давно, и чтение этой статьи в сочетании с тремя предыдущими, надеюсь, принесет вам больше вдохновения. Рекомендуемое чтение. Намерения: zep объясняет, как сделать большие модели, понимающие намерения клиентов. Конвенция о ликвидации всех форм дискриминации в отношении женщин. CoD: Chain of Density Конвенция о ликвидации всех форм дискриминации в отношении женщин. Ragas: оценка точности RAG recall QA и корреляции ответов " (сосредоточьтесь на разделе "Оценка уверенности").

Быстрый просмотр: "Углубленный анализ CLOBs и CIS: новая парадигма непрерывного обучения на основе моделирования большого языка Black-Box".

В области искусственного интеллекта непрерывное обучение (НОО) стало одним из самых обсуждаемых направлений исследований. С появлением больших языковых моделей (Large Language Models, LLM) важной темой стало то, как дать моделям возможность непрерывно изучать новые задачи без переобучения всей модели и при этом не забывать старые знания. В этой статье мы представим новую парадигму непрерывного обучения - парадигмуCLOB (непрерывное обучение на черных ящиках LLM)и предложения, основанные на немCIS (контекстуальное CL через инкрементные резюме)методологии и помогает читателям глубже понять ее основные механизмы и преимущества с помощью подробных примеров процессов обслуживания клиентов и рабочих процессов.

1. Вызовы для непрерывного обучения

В традиционных сценариях непрерывного обучения модель должна шаг за шагом изучать серию задач, а данные по каждой задаче обычно отбрасываются после обучения. Такой подход позволяет экономить место в памяти, но при этом возникает проблема **Катастрофического забывания**, когда модель забывает то, чему она научилась ранее, по мере изучения новых задач.

1.1 Ограничения традиционных методов

• Тонкая настройка параметров: Адаптация к новым задачам путем точной настройки параметров модели, но имеет тенденцию к забыванию старых задач.
• Дистилляция знанийПеренос знаний из старых моделей в новые является сложной и вычислительно дорогостоящей задачей.
• воспроизведение данных: Сохранение части старых данных о задачах для обучения, но это требует дополнительного места для хранения и может вызвать проблемы с конфиденциальностью.

2. CLOB: новая парадигма непрерывного обучения с помощью моделирования большого языка "черный ящик

CLOB (Continual Learning Over Black-box LLMs) - это новая парадигма непрерывного обучения, которая рассматривает большую языковую модель как "черный ящик" и достигает непрерывного обучения только с помощью **вербальных подсказок** без какой-либо тонкой настройки параметров модели или добавления обучаемых параметров.

2.1 Основные преимущества CLOB

• Избегайте забывания параметров: Катастрофическое забывание на основе параметров отсутствует, поскольку параметры модели не изменяются.
• Высокая гибкость: Применяется к LLM, доступ к которым осуществляется через API без доступа к внутренней структуре модели.
• Высокая масштабируемость: Легко расширяется за счет увеличения количества задач и категорий.

2.2 Как работает CLOB

Рабочий процесс CLOB можно свести к следующим шагам:

1. Прибытие миссии: Когда поступает новое задание, система получает часть обучающих данных для этого задания.
2. Абстрактное поколение: Используйте LLM для создания резюме по каждой категории, которые должны отражать ключевую информацию по каждой категории.
3. Аннотация ЭкономияСформированные резюме сохраняются в **хранилище памяти** как основа для последующего обучения и рассуждений.

Рисунок 1: Обзор системы CLOB. Слева показано использование CIS в CLOB, а справа - подсказки по использованию каждого компонента в процессе обучения.

3. CIS: Непрерывное обучение в контексте на основе инкрементных резюме

CIS (in-context CL via Incremental Summarization) - это специфическая реализация CLOB, которая использует возможности обобщения LLM для обеспечения непрерывного обучения путем постепенного обновления обобщений.

3.1 Основные компоненты СНГ

3.1.1 Сводный генератор (рефлектор)

• функциональность: Генерируйте сводку по каждой категории по мере поступления новых задач.
• рабочий процесс::
  1. Получение новых данных о миссии:: Например, служба поддержки клиентов получает часто задаваемые вопросы (FAQ) о новых продуктах.
  2. Создайте сводку: Используйте следующие подсказки для создания сводки по каждой категории:

     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：[客户关于新产品的常见问题及解答]
     

     Пример:

     提示：
     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：
     1. 客户：这款新手机有哪些颜色？
     客服：这款手机有黑色、白色和蓝色三种颜色。
     2. 客户：这款手机的电池续航时间有多长？
     客服：这款手机的电池续航时间为两天。
     

     Создайте резюме:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     

  3. Сохранение рефератов: Сохраните созданную сводку в памяти.

3.1.2 Программа обновления сводок

• функциональность: Обновление сводки по соответствующей категории при получении новых данных по старой задаче.
• рабочий процесс::
  1. Получение новых данныхНапример, служба поддержки клиентов получает новые вопросы о новых продуктах FAQ.
  2. Обновленное резюме: Используйте следующие советы, чтобы обновить резюме для соответствующей категории:

     下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
     原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     额外示例：
     1. 客户：这款手机支持5G网络吗？
     客服：是的，这款手机支持5G网络。
     

     Обновленное резюме:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

  3. Сохраните обновленную сводку: Заменяет исходную сводку в банке памяти на обновленную.

3.1.3 Решатель

• функциональность: Выполняет категорические рассуждения и обрабатывает запросы клиентов.
• рабочий процесс::
  1. Получение запросов клиентовНапример, покупатель спрашивает: "Каких цветов бывает этот телефон?".
  2. Шаг 1::

     Solver 提示（步骤 1）：
     请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
     测试样本：这款手机有哪些颜色？
     列出的列表：
     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

     Выход:

     新产品 FAQ：0.95
     

  3. Шаг 2: Выберите верхнюю k=1 категорию с самым высоким уровнем доверия, например, "FAQ по новым продуктам".
  4. Создать ответ: Создайте ответ на основе резюме категории "FAQ по новым продуктам":

     客服回复：这款手机有黑色、白色和蓝色三种颜色。
     

  5. Отправить ответ: Отправьте ответ клиенту.

3.2 Логика доступа к памяти

• запас: Резюме для каждой категории хранится в виде узла в банке памяти. Например, "FAQ по новым продуктам" - это узел памяти, содержащий соответствующую сводку.
• получить: В процессе рассуждений система считывает резюме соответствующих категорий и генерирует ответы на основе этих резюме.
• обновление: Когда поступают новые данные, сводка обновляется, чтобы отразить последние сведения. Например, при получении нового FAQ о новом продукте обновляется сводка узла "New Product FAQ".

4. Разница между CLOB и CIS

• CLOB это более широкая парадигма непрерывного обучения, в которой особое внимание уделяется обучению с использованием лингвистических подсказок без изменения параметров модели. Она применима к различным типам задач и данных.
• WASC это специфическая реализация CLOB, которая фокусируется на использовании инкрементных сводок для управления знаниями и устранения ограничения на длину входных данных в LLM. В сценариях обслуживания клиентов CIS может эффективно обрабатывать изменяющиеся требования и знания клиентов, поддерживая динамически обновляемое хранилище сводок.

5. пример: полный рабочий процесс в СНГ в процессе обслуживания клиентов

5.1 Прибытие новых миссий

Предположим, отдел обслуживания клиентов запустил новый продукт и должен обрабатывать связанные с ним запросы клиентов.

1. получать данные: Система получает часто задаваемые вопросы (FAQ) о новых продуктах.
2. Создайте сводку::

   Reflector 提示：
   我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
   示例：
   1. 客户：这款新手机有哪些颜色？
   客服：这款手机有黑色、白色和蓝色三种颜色。
   2. 客户：这款手机的电池续航时间有多长？
   客服：这款手机的电池续航时间为两天。
   

   Создайте резюме:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   

3. Сохранение рефератов: Сохраняет в памяти краткое содержание "FAQ по новому продукту".

5.2 Новые данные, поступающие из старых миссий

Предположим, поступил новый вопрос о новом продукте FAQ.

1. Получение новых данных:: Покупатели спрашивают: "Поддерживает ли этот телефон сети 5G?"
2. Обновленное резюме::

   Updater 提示：
   下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
   原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   额外示例：
   1. 客户：这款手机支持5G网络吗？
   客服：是的，这款手机支持5G网络。
   

   Обновленное резюме:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

3. Сохраните обновленную сводку: Заменяет исходную сводку в банке памяти на обновленную.

5.3 Процесс рассуждения

1. Получение запросов клиентов: Покупатель спрашивает: "Каких цветов бывает этот телефон?"
2. Шаг 1::

   Solver 提示（步骤 1）：
   请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
   测试样本：这款手机有哪些颜色？
   列出的列表：
   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

   Выход:

   新产品 FAQ：0.95
   

3. Шаг 2: Выберите верхнюю k=1 категорию с самым высоким уровнем доверия, например, "FAQ по новым продуктам".
4. Создать ответ: Создайте ответ на основе резюме категории "FAQ по новым продуктам":

   客服回复：这款手机有黑色、白色和蓝色三种颜色。
   

5. Отправить ответ: Отправьте ответ клиенту.

5.4 Непрерывное обучение

Со временем служба поддержки может получать больше запросов, например, о новых продуктах:

• Клиенты спрашивают: "Каков размер этого телефона?"
• Клиенты спрашивают: "Сколько стоит этот телефон?".

Эти новые данные будут добавлены в сводку категории "FAQ по новым товарам" с помощью механизма обновления CIS:

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

Обновленное резюме:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. Резюме

Из приведенного выше примера видно, что CIS демонстрирует высокий уровень непрерывного обучения в процессе обслуживания клиентов:

• динамическое обновление (Интернет): Возможность динамического обновления сводок категорий на основе новых данных.
• Эффективное рассуждение: Быстрое нахождение категории, соответствующей запросу клиента, через сводную библиотеку и создание точного ответа.
• совокупные знания: С течением времени Библиотека рефератов продолжает накапливать знания, чтобы лучше обслуживать наших клиентов.

Парадигма непрерывного обучения, основанная на CLOBs и CIS, открывает новые возможности в сфере обслуживания клиентов, позволяя организациям более эффективно обрабатывать запросы клиентов и повышать их удовлетворенность.

7. Перспективы на будущее

Хотя CLOB и CIS демонстрируют большой потенциал в сценариях обслуживания клиентов, все же существуют следующие проблемы, которые заслуживают дальнейшего изучения:

• Мультимодальная обработка данных: Как интегрировать различные формы данных, такие как текст, изображения и речь, в сводную библиотеку?
• Индивидуальное обслуживание: Как вы обеспечиваете персонализированные ответы на основе потребностей и предпочтений различных клиентов?
• актуальность: Как можно улучшить работу системы с запросами клиентов в режиме реального времени?

Ожидается, что благодаря постоянным исследованиям и инновациям CLOB и CIS будут играть более значительную роль в широком спектре сценариев обслуживания клиентов и создавать большую ценность для организаций.