CLOB: Kontinuierliches Lernen einer Reihe von Aufgaben durch ein großes Sprachmodell, das nur Stichwortwörter verwendet

Ursprünglicher Text:https://arxiv.org/pdf/2412.15479

Auslegung:Dieser Artikel selbst ist nicht sehr innovativ und hat wenig Anwendungsmöglichkeiten. Er erinnert mich jedoch an drei sehr informative Artikel, die ich vor langer, langer Zeit gelesen habe, und die Lektüre dieses Artikels in Verbindung mit den drei vorhergehenden wird Ihnen hoffentlich weitere Anregungen geben. Empfohlene Lektüre. Intentionen: zep erklärt, wie man große Modelle dazu bringt, Kundenintentionen zu verstehen. Das Übereinkommen zur Beseitigung jeder Form von Diskriminierung der Frau. CoD: Chain of Density Das Übereinkommen zur Beseitigung jeder Form von Diskriminierung der Frau. Ragas: Bewertung der RAG-Rückruf-QA-Genauigkeit und Antwortkorrelation "(konzentrieren Sie sich auf den Abschnitt über die Bewertung des Vertrauens).

Quick Read: "Eine eingehende Analyse von CLOBs und CIS: Ein neues Paradigma für kontinuierliches Lernen auf der Grundlage von Black-Box Large Language Modelling

Im Bereich der künstlichen Intelligenz ist das kontinuierliche Lernen (CL) eine viel diskutierte Forschungsrichtung. Mit dem Aufkommen großer Sprachmodelle (Large Language Models, LLMs) ist die Frage, wie man Modelle in die Lage versetzen kann, kontinuierlich neue Aufgaben zu lernen, ohne das gesamte Modell neu zu trainieren, und gleichzeitig zu vermeiden, dass altes Wissen vergessen wird, zu einem wichtigen Thema geworden. In diesem Beitrag wird ein neues Paradigma des kontinuierlichen Lernens vorgestellt - dasCLOB (Continuous Learning on Black-box LLMs)und die darauf basierenden VorschlägeCIS (kontextbezogene CL durch inkrementelle Zusammenfassungen)Methodik und hilft den Lesern, ein tieferes Verständnis ihrer Kernmechanismen und Vorteile anhand von detaillierten Beispielen von Kundendienstprozessen und Arbeitsabläufen zu erlangen.

1. herausforderungen für kontinuierliches lernen

In herkömmlichen Szenarien des kontinuierlichen Lernens muss das Modell eine Reihe von Aufgaben Schritt für Schritt lernen, und die Daten für jede Aufgabe werden in der Regel nach dem Training verworfen. Dieser Ansatz spart zwar Speicherplatz, bringt aber auch das Problem des **katastrophalen Vergessens** mit sich, bei dem das Modell vergisst, was es zuvor gelernt hat, während es neue Aufgaben lernt.

1.1 Grenzen der traditionellen Methoden

• Parameter-FeinabstimmungAnpassung an neue Aufgaben durch Feinabstimmung der Modellparameter, führt aber tendenziell zum Vergessen alter Aufgaben.
• WissensdestillationDie Migration von Wissen aus alten Modellen in neue Modelle ist komplex und rechenintensiv in der Umsetzung.
• DatenwiedergabeBeibehaltung eines Teils der alten Aufgabendaten für das Training, erfordert jedoch zusätzlichen Speicherplatz und kann Bedenken hinsichtlich des Datenschutzes aufwerfen.

2) CLOB: Ein neues Paradigma für kontinuierliches Lernen mit Black-Box Large Language Modelling

CLOB (Continual Learning Over Black-box LLMs) ist ein neues kontinuierliches Lernparadigma, das ein großes Sprachmodell als Black-Box behandelt und kontinuierliches Lernen nur durch **Verbal Prompting** ohne Feinabstimmung der Modellparameter oder Hinzufügen von trainierbaren Parametern erreicht.

2.1 Die wichtigsten Vorteile von CLOB

• Vermeiden Sie das Vergessen von ParameternEs gibt kein parameterbasiertes katastrophales Vergessen, da die Modellparameter nicht verändert werden.
• Hohe FlexibilitätLLM: Gilt für LLMs, auf die über APIs zugegriffen wird, ohne Zugriff auf die interne Struktur des Modells.
• Hochgradig skalierbar: Leicht erweiterbar auf weitere Aufgaben und Kategorien.

2.2 Wie funktioniert CLOB?

Der CLOB-Arbeitsablauf lässt sich in den folgenden Schritten zusammenfassen:

1. Ankunft der MissionWenn eine neue Aufgabe eintrifft, erhält das System einen Teil der Trainingsdaten für diese Aufgabe.
2. Abstrakte ErzeugungLLM: Verwenden Sie LLM, um Zusammenfassungen für jede Kategorie zu erstellen, die die wichtigsten Informationen für jede Kategorie erfassen sollen.
3. Abstraktes SparenDie generierten Zusammenfassungen werden im **Memory Repository** gespeichert und dienen als Grundlage für späteres Lernen und Schlussfolgern.

Abbildung 1: Überblick über das CLOB-System. Die linke Seite zeigt die Verwendung von CIS in CLOB, und die rechte Seite zeigt Hinweise für die Verwendung der einzelnen Komponenten im Lernprozess.

3) CIS: Kontinuierliches Lernen im Kontext auf der Grundlage inkrementeller Zusammenfassungen

CIS (in-context CL via Incremental Summarization) ist eine spezielle Implementierung von CLOB, die die Zusammenfassungsfähigkeiten von LLM nutzt, um kontinuierliches Lernen durch inkrementelle Aktualisierung der Zusammenfassungen zu ermöglichen.

3.1 Schlüsselkomponenten des CIS

3.1.1 Zusammenfassung Generator (Reflektor)

• FunktionalitätGenerieren Sie eine Zusammenfassung jeder Kategorie, sobald neue Aufgaben eintreffen.
• Arbeitsablauf::
  1. Neue Missionsdaten erhalten:: Der Kundendienst erhält beispielsweise häufig gestellte Fragen (FAQs) zu neuen Produkten.
  2. Eine Zusammenfassung generieren: Verwenden Sie die folgenden Tipps, um eine Zusammenfassung für jede Kategorie zu erstellen:

     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：[客户关于新产品的常见问题及解答]
     

     Beispiel:

     提示：
     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：
     1. 客户：这款新手机有哪些颜色？
     客服：这款手机有黑色、白色和蓝色三种颜色。
     2. 客户：这款手机的电池续航时间有多长？
     客服：这款手机的电池续航时间为两天。
     

     Erstellen Sie eine Zusammenfassung:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     

  3. Aufbewahrung von ZusammenfassungenSpeichern Sie die erstellte Zusammenfassung im Speicher.

3.1.2 Zusammenfassung Updater

• FunktionalitätAktualisieren Sie die Zusammenfassung der betreffenden Kategorie, wenn neue Daten für die alte Aufgabe eingegangen sind.
• Arbeitsablauf::
  1. Empfangen neuer DatenZum Beispiel erhält der Kundendienst neue Fragen zu neuen Produkt-FAQs.
  2. Aktualisierte Zusammenfassung: Verwenden Sie die folgenden Tipps, um die Zusammenfassung für die entsprechende Kategorie zu aktualisieren:

     下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
     原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     额外示例：
     1. 客户：这款手机支持5G网络吗？
     客服：是的，这款手机支持5G网络。
     

     Aktualisierte Zusammenfassung:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

  3. Speichern Sie die aktualisierte ZusammenfassungErsetzt die ursprüngliche Zusammenfassung in der Speicherbank durch die aktualisierte Zusammenfassung.

3.1.3 Löser

• FunktionalitätFührt kategorische Schlussfolgerungen durch und bearbeitet Kundenanfragen.
• Arbeitsablauf::
  1. Entgegennahme von KundenanfragenEin Kunde fragt zum Beispiel: "In welchen Farben gibt es dieses Telefon?"
  2. Schritt 1::

     Solver 提示（步骤 1）：
     请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
     测试样本：这款手机有哪些颜色？
     列出的列表：
     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

     Ausgabe:

     新产品 FAQ：0.95
     

  3. Schritt 2Wählen Sie die oberste k=1-Kategorie mit dem höchsten Konfidenzniveau, d. h. "Neues Produkt FAQ".
  4. Eine Antwort generierenGenerieren Sie eine Antwort auf der Grundlage der Zusammenfassung der Kategorie "Neues Produkt FAQ":

     客服回复：这款手机有黑色、白色和蓝色三种颜色。
     

  5. Eine Antwort sendenSenden Sie die Antwort an den Kunden.

3.2 Speicherzugriffslogik

• auf HaldeZusammenfassung: Die Zusammenfassung für jede Kategorie wird als Knoten in der Speicherbank gespeichert. Zum Beispiel ist "Neue Produkte FAQ" ein Speicherknoten, der die entsprechende Zusammenfassung enthält.
• abrufen.Beim Reasoning-Prozess liest das System Zusammenfassungen relevanter Kategorien und erzeugt Antworten auf der Grundlage dieser Zusammenfassungen.
• UpdateWenn neue Daten eintreffen, wird die Zusammenfassung aktualisiert, um die neuesten Erkenntnisse wiederzugeben. Wenn zum Beispiel eine neue FAQ zu einem neuen Produkt eingeht, wird die Zusammenfassung des Knotens "Neues Produkt FAQ" aktualisiert.

4. der Unterschied zwischen CLOB und CIS

• CLOB ist ein breiter angelegtes Paradigma des kontinuierlichen Lernens, das den Schwerpunkt auf das Lernen mit sprachlichen Hinweisen legt, ohne die Modellparameter zu verändern. Es ist auf verschiedene Arten von Aufgaben und Daten anwendbar.
• WASC ist eine spezielle Implementierung von CLOB, die sich auf die Verwendung von inkrementellen Zusammenfassungen konzentriert, um Wissen zu verwalten und die Beschränkung der Eingabelänge von LLMs zu umgehen. In Kundendienstszenarien ist CIS in der Lage, mit sich ändernden Kundenanforderungen und -kenntnissen effizient umzugehen, indem es einen dynamisch aktualisierten Zusammenfassungsspeicher unterhält.

5. beispiel: CIS-kompletter Arbeitsablauf im Kundendienstprozess

5.1 Ankunft der neuen Missionen

Angenommen, die Kundendienstabteilung hat ein neues Produkt auf den Markt gebracht und muss die damit verbundenen Kundenanfragen bearbeiten.

1. Daten empfangenDas System erhält häufig gestellte Fragen (FAQ) zu neuen Produkten.
2. Eine Zusammenfassung generieren::

   Reflector 提示：
   我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
   示例：
   1. 客户：这款新手机有哪些颜色？
   客服：这款手机有黑色、白色和蓝色三种颜色。
   2. 客户：这款手机的电池续航时间有多长？
   客服：这款手机的电池续航时间为两天。
   

   Erstellen Sie eine Zusammenfassung:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   

3. Aufbewahrung von ZusammenfassungenSpeichern: Speichert die Zusammenfassung der "New Product FAQ" im Speicher.

5.2 Neue Dateneingänge von alten Missionen

Angenommen, es geht eine neue Frage zum neuen Produkt FAQ ein.

1. Empfangen neuer DatenKunden fragen: "Unterstützt dieses Telefon 5G-Netze?"
2. Aktualisierte Zusammenfassung::

   Updater 提示：
   下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
   原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   额外示例：
   1. 客户：这款手机支持5G网络吗？
   客服：是的，这款手机支持5G网络。
   

   Aktualisierte Zusammenfassung:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

3. Speichern Sie die aktualisierte ZusammenfassungErsetzt die ursprüngliche Zusammenfassung in der Speicherbank durch die aktualisierte Zusammenfassung.

5.3 Begründungsprozess

1. Entgegennahme von KundenanfragenDer Kunde fragt: "In welchen Farben gibt es dieses Telefon?"
2. Schritt 1::

   Solver 提示（步骤 1）：
   请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
   测试样本：这款手机有哪些颜色？
   列出的列表：
   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

   Ausgabe:

   新产品 FAQ：0.95
   

3. Schritt 2Wählen Sie die oberste k=1-Kategorie mit dem höchsten Konfidenzniveau, d. h. "Neues Produkt FAQ".
4. Eine Antwort generierenGenerieren Sie eine Antwort auf der Grundlage der Zusammenfassung der Kategorie "Neues Produkt FAQ":

   客服回复：这款手机有黑色、白色和蓝色三种颜色。
   

5. Eine Antwort sendenSenden Sie die Antwort an den Kunden.

5.4 Kontinuierliches Lernen

Im Laufe der Zeit kann der Kundendienst zum Beispiel mehr Anfragen zu neuen Produkten erhalten:

• Kunden fragen: "Wie groß ist dieses Telefon?"
• Kunden fragen: "Wie viel kostet dieses Telefon?"

Diese neuen Daten werden über den Aktualisierungsmechanismus des ZIS in die Zusammenfassung der Kategorie "Neue Produkte FAQ" aufgenommen:

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

Aktualisierte Zusammenfassung:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. zusammenfassung

Anhand des obigen Beispiels können wir sehen, dass die GUS ein starkes kontinuierliches Lernen im Kundendienstprozess demonstriert:

• dynamische Aktualisierung (Internet)Fähigkeit zur dynamischen Aktualisierung von Kategoriezusammenfassungen auf der Grundlage neuer Daten.
• Effizientes ReasoningSchnelles Auffinden der Kategorie, die einer Kundenanfrage entspricht, durch die Übersichtsbibliothek und Erstellung einer genauen Antwort.
• kumulierte KenntnisseIm Laufe der Zeit baut die Abstract Library ihr Wissen weiter aus, um unsere Kunden besser bedienen zu können.

Dieses Paradigma des kontinuierlichen Lernens auf der Grundlage von CLOBs und CIS eröffnet neue Möglichkeiten im Bereich des Kundendienstes und ermöglicht es Unternehmen, Kundenanfragen effizienter zu bearbeiten und die Kundenzufriedenheit zu verbessern.

7. die Zukunftsaussichten

Obwohl CLOBs und CIS ein großes Potenzial für Kundendienstszenarien aufweisen, gibt es immer noch die folgenden Probleme, die eine weitere Untersuchung verdienen:

• Multimodale DatenverarbeitungWie lassen sich verschiedene Datenformen wie Text, Bilder und Sprache in eine zusammenfassende Bibliothek integrieren?
• Persönlicher ServiceWie können Sie personalisierte Antworten auf die Bedürfnisse und Vorlieben der verschiedenen Kunden geben?
• AktualitätWie kann die Fähigkeit des Systems, Kundenanfragen in Echtzeit zu bearbeiten, weiter verbessert werden?

Es wird erwartet, dass CLOB und CIS durch kontinuierliche Forschung und Innovation eine größere Rolle in einem breiteren Spektrum von Kundendienstszenarien spielen und einen größeren Wert für Organisationen schaffen werden.