CLOB : apprentissage continu d'une série de tâches par un grand modèle linguistique utilisant uniquement des mots repères

Texte original :https://arxiv.org/pdf/2412.15479

Interprétation :Cet article n'est pas très innovant et n'a que peu d'applications. Cependant, il me rappelle trois articles très instructifs que j'ai lus il y a très, très longtemps, et la lecture de cet article en conjonction avec les trois précédents vous apportera, je l'espère, plus d'inspiration. Lecture recommandée. Intentions : zep explique comment faire pour que les grands modèles comprennent les intentions des clients. La Convention sur l'élimination de toutes les formes de discrimination à l'égard des femmes. CoD : Chaîne de densité La Convention sur l'élimination de toutes les formes de discrimination à l'égard des femmes. Ragas : évaluation du rappel RAG, de la précision de l'AQ et de la corrélation des réponses "(se concentrer sur la section relative à l'évaluation de la confiance).

Quick Read : "Une analyse approfondie des CLOB et du CIS : un nouveau paradigme pour l'apprentissage continu basé sur des modèles de langage à grande échelle (boîte noire)

Dans le domaine de l'intelligence artificielle, l'apprentissage continu a été un axe de recherche très discuté. Avec l'essor des grands modèles de langage (LLM), la question de savoir comment permettre aux modèles d'apprendre continuellement de nouvelles tâches sans réentraîner l'ensemble du modèle, tout en évitant d'oublier les anciennes connaissances, est devenue un sujet important. Dans cet article, nous introduirons un nouveau paradigme d'apprentissage continu - leCLOB (Continuous Learning on Black-box LLMs)et les propositions qui en découlentCIS (contextual CL through incremental summaries)et aide les lecteurs à mieux comprendre ses mécanismes fondamentaux et ses avantages grâce à des exemples détaillés de processus de service à la clientèle et de flux de travail.

1. les défis de l'apprentissage continu

Dans les scénarios traditionnels d'apprentissage continu, le modèle doit apprendre une série de tâches étape par étape, et les données relatives à chaque tâche sont généralement supprimées après la formation. Si cette approche permet d'économiser de l'espace de stockage, elle introduit également le problème de l'oubli catastrophique**, où le modèle oublie ce qu'il a appris précédemment au fur et à mesure qu'il apprend de nouvelles tâches.

1.1 Limites des méthodes traditionnelles

• Réglage fin des paramètresAdaptation à de nouvelles tâches en affinant les paramètres du modèle, mais tend à conduire à l'oubli des anciennes tâches.
• Distillation des connaissancesLa migration des connaissances des anciens modèles vers les nouveaux est une opération complexe et coûteuse à mettre en œuvre.
• relecture des donnéesLes méthodes de gestion des données sont les suivantes : conserver une partie des anciennes données pour la formation, mais cela nécessite un espace de stockage supplémentaire et peut poser des problèmes de respect de la vie privée.

2) CLOB : un nouveau paradigme pour l'apprentissage continu avec la modélisation du langage large en boîte noire

CLOB (Continual Learning Over Black-box LLMs) est un nouveau paradigme d'apprentissage continu qui traite un grand modèle linguistique comme une boîte noire et réalise un apprentissage continu uniquement grâce à la **solution verbale** sans aucun réglage fin des paramètres du modèle ni ajout de paramètres entraînables.

2.1 Avantages principaux de la CLOB

• Éviter l'oubli de paramètresIl n'y a pas d'oubli catastrophique basé sur les paramètres, car les paramètres du modèle ne sont pas modifiés.
• Grande flexibilitéLes modèles d'apprentissage tout au long de la vie sont accessibles via des API sans accès à la structure interne du modèle.
• Hautement modulableLes tâches et les catégories sont facilement extensibles.

2.2 Fonctionnement de CLOB

La procédure CLOB peut être résumée par les étapes suivantes :

1. Arrivée de la missionLorsqu'une nouvelle tâche arrive, le système reçoit une partie des données de formation pour cette tâche.
2. Génération abstraiteLes résumés : Utilisez le LLM pour générer des résumés pour chaque catégorie qui sont conçus pour capturer les informations clés de chaque catégorie.
3. Résumé ÉpargneLes résumés générés sont sauvegardés dans le **référentiel de mémoire** et servent de base à l'apprentissage et au raisonnement ultérieurs.

Figure 1 : Vue d'ensemble du système CLOB. La partie gauche montre l'utilisation des CIS dans CLOB, et la partie droite présente des conseils pour l'utilisation de chaque composant dans le processus d'apprentissage.

3. CIS : Apprentissage continu en contexte basé sur des résumés incrémentaux

CIS (in-context CL via Incremental Summarization) est une implémentation spécifique de CLOB qui exploite les capacités de résumé de LLM pour permettre un apprentissage continu en mettant à jour les résumés de manière incrémentale.

3.1 Principaux éléments du CIS

3.1.1 Générateur de résumé (réflecteur)

• FonctionnalitéLes tâches à accomplir : Générer un résumé de chaque catégorie au fur et à mesure de l'arrivée de nouvelles tâches.
• flux de travail: :
  1. Recevoir de nouvelles données de missionLe service clientèle reçoit par exemple les questions les plus fréquemment posées (FAQ) sur les nouveaux produits.
  2. Générer un résuméLes conseils suivants permettent d'établir un résumé pour chaque catégorie :

     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：[客户关于新产品的常见问题及解答]
     

     Exemple :

     提示：
     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：
     1. 客户：这款新手机有哪些颜色？
     客服：这款手机有黑色、白色和蓝色三种颜色。
     2. 客户：这款手机的电池续航时间有多长？
     客服：这款手机的电池续航时间为两天。
     

     Générer un résumé :

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     

  3. Conservation des résumésEnregistrer le résumé généré dans la mémoire.

3.1.2 Mise à jour du résumé

• FonctionnalitéMise à jour du résumé de la catégorie concernée lorsque de nouvelles données sont reçues pour l'ancienne tâche.
• flux de travail: :
  1. Recevoir de nouvelles donnéesLe service clientèle, par exemple, reçoit de nouvelles questions sur les FAQ des nouveaux produits.
  2. Résumé actualiséLes conseils suivants permettent de mettre à jour le résumé de la catégorie concernée :

     下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
     原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     额外示例：
     1. 客户：这款手机支持5G网络吗？
     客服：是的，这款手机支持5G网络。
     

     Résumé actualisé :

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

  3. Sauvegarder le résumé mis à jourRemplace le résumé original dans la banque de mémoire par le résumé mis à jour.

3.1.3 Solveur

• FonctionnalitéIl s'agit d'effectuer des raisonnements catégoriques et de répondre aux questions des clients.
• flux de travail: :
  1. Recevoir une demande de renseignements d'un clientPar exemple, un client demande : "Quelles sont les couleurs de ce téléphone ?".
  2. Étape 1: :

     Solver 提示（步骤 1）：
     请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
     测试样本：这款手机有哪些颜色？
     列出的列表：
     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

     Sortie :

     新产品 FAQ：0.95
     

  3. Étape 2La catégorie k=1 la plus importante est sélectionnée avec le niveau de confiance le plus élevé, par exemple "FAQ sur les nouveaux produits".
  4. Générer une réponseFAQ sur les nouveaux produits : Générer une réponse basée sur le résumé de la catégorie "FAQ sur les nouveaux produits" :

     客服回复：这款手机有黑色、白色和蓝色三种颜色。
     

  5. Envoyer une réponse: Envoi de la réponse au client.

3.2 Logique d'accès à la mémoire

• stockLe résumé de chaque catégorie est stocké sous la forme d'un nœud dans la banque de mémoire. Par exemple, "FAQ Nouveaux produits" est un nœud de mémoire contenant le résumé correspondant.
• récupérerDans le processus de raisonnement, le système lit les résumés des catégories pertinentes et génère des réponses sur la base de ces résumés.
• mise à jourLorsque de nouvelles données arrivent, le résumé est mis à jour pour refléter les connaissances les plus récentes. Par exemple, lorsqu'une nouvelle FAQ sur un nouveau produit est reçue, le résumé du nœud "FAQ sur le nouveau produit" est mis à jour.

4) Différence entre CLOB et CIS

• CLOB est un paradigme d'apprentissage continu plus large qui met l'accent sur l'apprentissage à l'aide d'indices linguistiques sans modifier les paramètres du modèle. Il est applicable à différents types de tâches et de données.
• WASC est une implémentation spécifique de CLOB qui se concentre sur l'utilisation de résumés incrémentaux pour gérer les connaissances et répondre à la limitation de la longueur d'entrée de LLM. Dans les scénarios de service à la clientèle, le CIS est capable de gérer efficacement l'évolution des besoins et des connaissances des clients en maintenant un référentiel de résumés mis à jour de manière dynamique.

5) Exemple : flux de travail complet du CIS dans le processus de service à la clientèle

5.1 Arrivée de nouvelles missions

Supposons que le service clientèle ait lancé un nouveau produit et doive traiter les demandes de renseignements des clients.

1. recevoir des donnéesLe système reçoit les questions fréquemment posées (FAQ) sur les nouveaux produits.
2. Générer un résumé: :

   Reflector 提示：
   我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
   示例：
   1. 客户：这款新手机有哪些颜色？
   客服：这款手机有黑色、白色和蓝色三种颜色。
   2. 客户：这款手机的电池续航时间有多长？
   客服：这款手机的电池续航时间为两天。
   

   Générer un résumé :

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   

3. Conservation des résumésEnregistre le résumé de la "FAQ sur les nouveaux produits" dans la mémoire.

5.2 Arrivée de nouvelles données provenant d'anciennes missions

Supposons que l'on reçoive une nouvelle question sur le nouveau produit FAQ.

1. Recevoir de nouvelles donnéesLes clients demandent : "Ce téléphone est-il compatible avec les réseaux 5G ?".
2. Résumé actualisé: :

   Updater 提示：
   下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
   原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   额外示例：
   1. 客户：这款手机支持5G网络吗？
   客服：是的，这款手机支持5G网络。
   

   Résumé actualisé :

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

3. Sauvegarder le résumé mis à jourRemplace le résumé original dans la banque de mémoire par le résumé mis à jour.

5.3 Processus de raisonnement

1. Recevoir une demande de renseignements d'un clientLe client demande : "Quelles sont les couleurs de ce téléphone ?".
2. Étape 1: :

   Solver 提示（步骤 1）：
   请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
   测试样本：这款手机有哪些颜色？
   列出的列表：
   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

   Sortie :

   新产品 FAQ：0.95
   

3. Étape 2La catégorie k=1 la plus importante est sélectionnée avec le niveau de confiance le plus élevé, par exemple "FAQ sur les nouveaux produits".
4. Générer une réponseFAQ sur les nouveaux produits : Générer une réponse basée sur le résumé de la catégorie "FAQ sur les nouveaux produits" :

   客服回复：这款手机有黑色、白色和蓝色三种颜色。
   

5. Envoyer une réponse: Envoi de la réponse au client.

5.4 Apprentissage continu

Au fil du temps, le service clientèle peut recevoir davantage de demandes concernant de nouveaux produits, par exemple :

• Les clients demandent : "Quelle est la taille de ce téléphone ?".
• Les clients demandent : "Combien coûte ce téléphone ?".

Ces nouvelles données seront ajoutées au résumé de la catégorie "FAQ sur les nouveaux produits" par le biais du mécanisme de mise à jour du CIS :

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

Résumé actualisé :

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. résumé

L'exemple ci-dessus montre que le CIS fait preuve d'un solide apprentissage continu dans le processus de service à la clientèle :

• mise à jour dynamique (Internet)Capacité à mettre à jour dynamiquement les résumés des catégories sur la base de nouvelles données.
• Raisonnement efficaceLes services d'aide à la décision : La bibliothèque de résumés permet de localiser rapidement la catégorie correspondant à la demande d'un client et d'apporter une réponse précise.
• connaissances cumulativesLa bibliothèque des résumés : Au fil du temps, la bibliothèque des résumés continue d'accumuler des connaissances afin de mieux servir ses clients.

Ce paradigme d'apprentissage continu, basé sur les CLOB et les CIS, ouvre de nouvelles perspectives dans le domaine du service à la clientèle, permettant aux organisations de traiter les demandes des clients de manière plus efficace et d'améliorer la satisfaction de ces derniers.

7. les perspectives d'avenir

Bien que les CLOB et les CIS présentent un grand potentiel dans les scénarios de service à la clientèle, les questions suivantes méritent d'être approfondies :

• Traitement multimodal des donnéesLes bibliothèques de synthèse : Comment intégrer dans une bibliothèque de synthèse des formes multiples de données, telles que le texte, les images et la parole ?
• Service personnaliséComment fournir des réponses personnalisées en fonction des besoins et des préférences des différents clients ?
• actualitéComment améliorer encore la nature en temps réel du traitement des demandes des clients par le système ?

Grâce à la recherche et à l'innovation permanentes, le CLOB et le CIS devraient jouer un rôle plus important dans un plus grand nombre de scénarios de service à la clientèle et créer une plus grande valeur ajoutée pour les organisations.