CLOB: Aprendizaje continuo de una serie de tareas mediante un gran modelo lingüístico que sólo utiliza palabras de referencia.

Base de conocimientos de IAPublicado hace 7 meses Círculo de intercambio de inteligencia artificial

2.3K 00

Texto original:https://arxiv.org/pdf/2412.15479

Interpretación:Este artículo en sí no es muy innovador y tiene poca aplicación. Sin embargo, me recuerda a tres artículos muy informativos que leí hace mucho, mucho tiempo, y es de esperar que la lectura de este artículo junto con los tres anteriores le aporte más inspiración. Lectura recomendada. Intenciones: zep explica cómo hacer que los grandes modelos comprendan las intenciones de los clientes. La Convención sobre la eliminación de todas las formas de discriminación contra la mujer. CoD: Cadena de Densidad La Convención sobre la eliminación de todas las formas de discriminación contra la mujer. Ragas: evaluación de la memoria RAG Precisión de la GC y correlación de respuestas "(céntrate en la sección de evaluación de la confianza).

Lectura rápida: "Un análisis en profundidad de CLOB y CIS: un nuevo paradigma para el aprendizaje continuo basado en el modelado de grandes lenguajes de caja negra".

En el campo de la inteligencia artificial, el aprendizaje continuo (AC) ha sido una línea de investigación muy comentada. Con el auge de los grandes modelos lingüísticos (LLM), se ha convertido en un tema importante cómo hacer que los modelos aprendan continuamente nuevas tareas sin necesidad de volver a entrenar todo el modelo, evitando al mismo tiempo olvidar los conocimientos antiguos. En este artículo presentaremos un nuevo paradigma de aprendizaje continuo: el aprendizaje continuo.CLOB (Aprendizaje continuo sobre LLM de caja negra)y las propuestas basadas en élCIS (CL contextual mediante resúmenes incrementales)y ayuda a los lectores a comprender mejor sus principales mecanismos y ventajas mediante ejemplos detallados de procesos y flujos de trabajo de atención al cliente.

1. Retos para el aprendizaje continuo

En los escenarios tradicionales de aprendizaje continuo, el modelo necesita aprender una serie de tareas paso a paso, y los datos de cada tarea suelen descartarse tras el entrenamiento. Aunque este enfoque ahorra espacio de almacenamiento, también introduce el problema del **olvido catastrófico**, por el que el modelo olvida lo que ha aprendido previamente a medida que aprende nuevas tareas.

1.1 Limitaciones de los métodos tradicionales

Ajuste de parámetrosAdaptación a nuevas tareas mediante el ajuste fino de los parámetros del modelo, pero tiende a provocar el olvido de las tareas antiguas.
Destilación de conocimientosLa migración de conocimientos de modelos antiguos a modelos nuevos es compleja y costosa desde el punto de vista informático.
reproducción de datosConservar algunos de los datos de tareas antiguas para el entrenamiento, pero requiere espacio de almacenamiento adicional y puede plantear problemas de privacidad.

2. CLOB: un nuevo paradigma para el aprendizaje continuo con modelización de grandes lenguajes de caja negra

CLOB (Continual Learning Over Black-box LLMs) es un nuevo paradigma de aprendizaje continuo que trata un gran modelo lingüístico como una caja negra y consigue un aprendizaje continuo sólo a través de **Instrucciones verbales** sin ningún ajuste fino de los parámetros del modelo ni adición de parámetros entrenables.

2.1 Principales ventajas de CLOB

Evitar el olvido de parámetros: No hay olvido catastrófico basado en parámetros porque los parámetros del modelo no se modifican.
Gran flexibilidadSe aplica a los LLM a los que se accede a través de API sin acceso a la estructura interna del modelo.
Alta escalabilidadFácilmente ampliable a más tareas y categorías.

2.2 Funcionamiento de CLOB

El flujo de trabajo CLOB puede resumirse en los siguientes pasos:

Llegada de la misiónCuando llega una nueva tarea, el sistema recibe una parte de los datos de entrenamiento para esa tarea.
Generación abstractaUtiliza LLM para generar resúmenes para cada categoría, diseñados para capturar la información clave de cada categoría.
Ahorro abstractoEl resumen generado se guarda en el **repositorio de memoria** como base para el aprendizaje y el razonamiento posteriores.

Figura 1: Visión general del sistema CLOB. En la parte izquierda se muestra el uso de CIS en CLOB, y en la derecha se muestran sugerencias para el uso de cada componente en el proceso de aprendizaje.

3. CIS: Aprendizaje continuo en contexto basado en resúmenes incrementales

CIS (in-context CL via Incremental Summarization) es una implementación específica de CLOB que aprovecha las capacidades de resumen de LLM para permitir el aprendizaje continuo mediante la actualización incremental de los resúmenes.

3.1 Componentes clave del SIA

3.1.1 Generador de resúmenes (reflector)

funcionalidad: Genera un resumen de cada categoría a medida que llegan nuevas tareas.

flujo de trabajo::

Recibir nuevos datos de la misiónPor ejemplo, el servicio de atención al cliente recibe preguntas frecuentes sobre nuevos productos.

Generar un resumen: Utilice los siguientes consejos para generar un resumen para cada categoría:

我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
示例：[客户关于新产品的常见问题及解答]

Ejemplo:

提示：
我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
示例：
1. 客户：这款新手机有哪些颜色？
客服：这款手机有黑色、白色和蓝色三种颜色。
2. 客户：这款手机的电池续航时间有多长？
客服：这款手机的电池续航时间为两天。

Generar un resumen:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。

Conservación de los resúmenes: Guarda en memoria el resumen generado.

3.1.2 Actualizador de resúmenes

funcionalidad: Actualiza el resumen de la categoría correspondiente cuando se reciben nuevos datos para la tarea antigua.

flujo de trabajo::

Recibir nuevos datos: Por ejemplo, el servicio de atención al cliente recibe nuevas preguntas sobre las FAQ de nuevos productos.

Resumen actualizado: Utilice los siguientes consejos para actualizar el resumen de la categoría correspondiente:

下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
额外示例：
1. 客户：这款手机支持5G网络吗？
客服：是的，这款手机支持5G网络。

Resumen actualizado:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。

Guardar el resumen actualizadoSustituye el resumen original en el banco de memoria por el resumen actualizado.

3.1.3 Solucionador

funcionalidad: Realiza razonamientos categóricos y atiende las consultas de los clientes.

flujo de trabajo::

Recibir consultas de los clientesPor ejemplo, un cliente pregunta: "¿En qué colores viene este teléfono?".

Primer paso::

Solver 提示（步骤 1）：
请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
测试样本：这款手机有哪些颜色？
列出的列表：
新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。

Salida:

新产品 FAQ：0.95

Paso 2: Seleccione la categoría k=1 con el nivel de confianza más alto, es decir, "Preguntas frecuentes sobre nuevos productos".
Generar una respuesta: Genera una respuesta basada en el resumen de la categoría "Preguntas frecuentes sobre nuevos productos":
```
客服回复：这款手机有黑色、白色和蓝色三种颜色。
```
Enviar una respuesta: Envía la respuesta al cliente.

3.2 Lógica de acceso a la memoria

almacenarEl resumen de cada categoría se almacena como un nodo en el banco de memoria. Por ejemplo, "FAQ Nuevos Productos" es un nodo de memoria que contiene su resumen correspondiente.
recuperarEn el proceso de razonamiento, el sistema lee resúmenes de categorías relevantes y genera respuestas basadas en estos resúmenes.
actualizaciónResumen: cuando llegan nuevos datos, el resumen se actualiza para reflejar los conocimientos más recientes. Por ejemplo, cuando se recibe una nueva FAQ sobre un nuevo producto, se actualiza el resumen del nodo "FAQ nuevo producto".

4. Diferencia entre CLOB y CIS

CLOB es un paradigma de aprendizaje continuo más amplio que hace hincapié en el aprendizaje mediante pistas lingüísticas sin modificar los parámetros del modelo. Es aplicable a diversos tipos de tareas y datos.
WASC es una implementación específica de CLOB que se centra en el uso de resúmenes incrementales para gestionar el conocimiento y abordar la limitación de longitud de entrada de los LLM. En escenarios de servicio al cliente, CIS es capaz de gestionar eficazmente los cambiantes requisitos y conocimientos de los clientes manteniendo un repositorio de resúmenes actualizado dinámicamente.

5. Ejemplo: flujo de trabajo completo del CIS en el proceso de atención al cliente

5.1 Llegada de nuevas misiones

Supongamos que el departamento de atención al cliente ha lanzado un nuevo producto y necesita gestionar las consultas de los clientes relacionadas con él.

recibir datosEl sistema recibe las preguntas más frecuentes (FAQ) sobre los nuevos productos.

Generar un resumen::

Reflector 提示：
我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
示例：
1. 客户：这款新手机有哪些颜色？
客服：这款手机有黑色、白色和蓝色三种颜色。
2. 客户：这款手机的电池续航时间有多长？
客服：这款手机的电池续航时间为两天。

Generar un resumen:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。

Conservación de los resúmenes: Guarda en memoria el resumen de las "Preguntas frecuentes sobre nuevos productos".

5.2 Nuevos datos procedentes de antiguas misiones

Supongamos que se recibe una nueva pregunta sobre un nuevo producto FAQ.

Recibir nuevos datos:: Los clientes preguntan: "¿Este teléfono es compatible con redes 5G?"

Resumen actualizado::

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
额外示例：
1. 客户：这款手机支持5G网络吗？
客服：是的，这款手机支持5G网络。

Resumen actualizado:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。

Guardar el resumen actualizadoSustituye el resumen original en el banco de memoria por el resumen actualizado.

5.3 Proceso de razonamiento

Recibir consultas de los clientesEl cliente pregunta: "¿En qué colores está disponible este teléfono?".

Primer paso::

Solver 提示（步骤 1）：
请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
测试样本：这款手机有哪些颜色？
列出的列表：
新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。

Salida:

新产品 FAQ：0.95

Paso 2: Seleccione la categoría k=1 con el nivel de confianza más alto, es decir, "Preguntas frecuentes sobre nuevos productos".
Generar una respuesta: Genera una respuesta basada en el resumen de la categoría "Preguntas frecuentes sobre nuevos productos":
```
客服回复：这款手机有黑色、白色和蓝色三种颜色。
```
Enviar una respuesta: Envía la respuesta al cliente.

5.4 Aprendizaje continuo

Con el tiempo, el servicio de atención al cliente puede recibir más consultas sobre nuevos productos, por ejemplo:

Los clientes preguntan: "¿Qué tamaño tiene este teléfono?".
Los clientes preguntan: "¿Cuánto cuesta este teléfono?".

Estos nuevos datos se añadirán al resumen de la categoría "Preguntas frecuentes sobre nuevos productos" a través del mecanismo de actualización del SIA:

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

Resumen actualizado:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. Resumen

Con el ejemplo anterior, podemos ver que CIS demuestra un sólido aprendizaje continuo en el proceso de atención al cliente:

actualización dinámica (Internet)Capacidad para actualizar dinámicamente los resúmenes de las categorías en función de los nuevos datos.
Razonamiento eficiente: Localice rápidamente la categoría correspondiente a la consulta de un cliente a través de la biblioteca de resúmenes y genere una respuesta precisa.
conocimiento acumulado: Con el tiempo, la Biblioteca de Resúmenes sigue acumulando conocimientos para servir mejor a nuestros clientes.

Este paradigma de aprendizaje continuo basado en CLOB y CIS abre nuevas oportunidades en el ámbito de la atención al cliente, permitiendo a las organizaciones gestionar las consultas de los clientes con mayor eficacia y mejorar su satisfacción.

7. Perspectivas de futuro

Aunque los CLOB y los SIC muestran un gran potencial en escenarios de atención al cliente, aún quedan las siguientes cuestiones que merecen una mayor exploración:

Tratamiento multimodal de datos¿Cómo integrar múltiples formas de datos, como texto, imágenes y voz, en una biblioteca de resúmenes?
Servicio personalizado¿Cómo dar respuestas personalizadas en función de las necesidades y preferencias de los distintos clientes?
actualidad¿Cómo puede mejorarse el tratamiento en tiempo real de las consultas de los clientes?

Mediante la investigación y la innovación continuas, se espera que CLOB y CIS desempeñen un papel más importante en una gama más amplia de escenarios de servicio al cliente y creen mayor valor para las organizaciones.