CLOB: 단서 단어만을 사용하여 대규모 언어 모델에 의한 일련의 작업 연속 학습

원본 텍스트:https://arxiv.org/pdf/2412.15479

통역:이 글 자체는 그다지 혁신적이지도 않고 적용 가능성도 거의 없습니다. 하지만 아주 오래 전에 읽었던 매우 유익한 글 세 편을 떠올리게 하며, 이 글을 이전 글 세 편과 함께 읽으면 더 많은 영감을 얻을 수 있을 것입니다. 추천 읽기. 인텐트: zep는 빅 모델이 고객의 의도를 이해하도록 하는 방법을 설명합니다. 여성에 대한 모든 형태의 차별 철폐에 관한 협약. CoD: 밀도의 사슬 여성에 대한 모든 형태의 차별 철폐에 관한 협약. Ragas: RAG 리콜 QA 정확도 및 답변 상관관계 평가하기 '(신뢰도 평가 섹션에 집중).

빠른 읽기: "CLOB와 CIS에 대한 심층 분석: 블랙박스 대규모 언어 모델링 기반의 지속적인 학습을 위한 새로운 패러다임

인공지능 분야에서는 지속적 학습(CL)이 연구 방향에 대해 많이 논의되고 있습니다. 대규모 언어 모델(LLM)이 등장하면서 어떻게 하면 모델이 전체 모델을 재학습하지 않고도 새로운 작업을 지속적으로 학습하면서 기존 지식을 잊어버리지 않도록 할 수 있을지가 중요한 화두가 되고 있습니다. 이번 백서에서는 지속적 학습의 새로운 패러다임인CLOB(블랙박스 LLM의 지속적 학습)그리고 이를 기반으로 한 제안CIS(증분 요약을 통한 문맥적 CL)방법론을 소개하고 자세한 고객 서비스 프로세스 사례와 워크플로우를 통해 독자들이 핵심 메커니즘과 이점에 대해 더 깊이 이해할 수 있도록 도와줍니다.

1. 지속적인 학습에 대한 도전

기존의 지속적인 학습 시나리오에서는 모델이 일련의 작업을 단계별로 학습해야 하며, 각 작업에 대한 데이터는 일반적으로 학습 후 폐기됩니다. 이 접근 방식은 저장 공간을 절약할 수 있지만, 모델이 새로운 작업을 학습할 때 이전에 학습한 내용을 잊어버리는 '치명적 망각' 문제가 발생하기도 합니다.

1.1 기존 방법의 한계

• 매개변수 미세 조정모델 매개변수를 미세 조정하여 새로운 작업에 적응하지만 오래된 작업은 잊어버리는 경향이 있습니다.
• 지식 증류이전 모델에서 새 모델로 지식을 마이그레이션하는 것은 구현하는 데 복잡하고 계산 비용이 많이 듭니다.
• 데이터 재생: 교육을 위해 이전 작업 데이터의 일부를 유지하지만 추가 저장 공간이 필요하고 개인정보 보호 문제가 발생할 수 있습니다.

2. CLOB: 블랙박스 대규모 언어 모델링을 통한 지속적 학습의 새로운 패러다임

CLOB(Continuous Learning Over Black-box LLM)는 대규모 언어 모델을 블랙박스로 취급하고 모델 파라미터의 미세 조정이나 학습 가능한 파라미터의 추가 없이 **Verbal Prompting**만으로 지속적인 학습을 달성하는 새로운 연속 학습 패러다임입니다.

2.1 CLOB의 핵심 이점

• 매개변수 잊어버리기 방지모델 매개변수가 변경되지 않으므로 매개변수 기반 치명적 망각이 없습니다.
• 높은 유연성모델 내부 구조에 대한 액세스 권한 없이 API를 통해 액세스하는 LLM에 적용됩니다.
• 뛰어난 확장성더 많은 작업과 카테고리로 쉽게 확장할 수 있습니다.

2.2 CLOB 작동 방식

CLOB 워크플로우는 다음 단계로 요약할 수 있습니다:

1. 미션 도착새 작업이 도착하면 시스템은 해당 작업에 대한 학습 데이터의 일부를 수신합니다.
2. 추상 생성LLM을 사용하여 각 카테고리의 주요 정보를 캡처하도록 설계된 각 카테고리에 대한 요약을 생성합니다.
3. 추상 저장생성된 요약은 **메모리 저장소**에 저장되어 추후 학습 및 추론의 기초가 됩니다.

그림 1: CLOB 시스템 개요. 왼쪽은 CLOB에서 CIS의 사용법을, 오른쪽은 학습 과정에서 각 구성 요소의 사용에 대한 힌트를 보여줍니다.

3. CIS: 점진적 요약을 기반으로 한 컨텍스트 내 지속적 학습

CIS(점진적 요약 기능을 통한 컨텍스트 내 CL)는 LLM의 요약 기능을 활용하여 요약을 점진적으로 업데이트함으로써 지속적인 학습을 가능하게 하는 CLOB의 구체적인 구현입니다.

3.1 CIS의 주요 구성 요소

3.1.1 요약 생성기(리플렉터)

• 기능새 작업이 도착하면 각 카테고리에 대한 요약을 생성합니다.
• 워크플로::
  1. 새로운 미션 데이터 수신:: 예를 들어 고객 서비스에서는 신제품에 대한 자주 묻는 질문(FAQ)을 받습니다.
  2. 요약 생성다음 팁을 사용하여 각 카테고리에 대한 요약을 생성하세요:

     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：[客户关于新产品的常见问题及解答]
     

     예시:

     提示：
     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：
     1. 客户：这款新手机有哪些颜色？
     客服：这款手机有黑色、白色和蓝色三种颜色。
     2. 客户：这款手机的电池续航时间有多长？
     客服：这款手机的电池续航时间为两天。
     

     요약을 생성합니다:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     

  3. 초록 보존생성된 요약을 메모리에 저장합니다.

3.1.2 요약 업데이터

• 기능이전 작업에 대한 새 데이터가 수신되면 관련 카테고리의 요약을 업데이트합니다.
• 워크플로::
  1. 새 데이터 수신예를 들어 고객 서비스에서는 신제품 FAQ에 대한 새로운 질문을 받습니다.
  2. 업데이트된 요약다음 팁을 사용하여 관련 카테고리에 대한 요약을 업데이트하세요:

     下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
     原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     额外示例：
     1. 客户：这款手机支持5G网络吗？
     客服：是的，这款手机支持5G网络。
     

     업데이트된 요약:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

  3. 업데이트된 요약 저장메모리 뱅크의 원래 요약을 업데이트된 요약으로 바꿉니다.

3.1.3 솔버

• 기능분류 추론을 수행하고 고객 문의를 처리합니다.
• 워크플로::
  1. 고객 문의 접수예를 들어, 고객이 "이 휴대폰은 어떤 색상으로 나오나요?"라고 묻는 경우
  2. 1단계::

     Solver 提示（步骤 1）：
     请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
     测试样本：这款手机有哪些颜色？
     列出的列表：
     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

     출력:

     新产品 FAQ：0.95
     

  3. 2단계신뢰 수준이 가장 높은 상위 k=1 카테고리(예: "신제품 FAQ")를 선택합니다.
  4. 답글 생성하기: '새 제품 FAQ' 카테고리의 요약을 기반으로 답변을 생성합니다:

     客服回复：这款手机有黑色、白色和蓝色三种颜色。
     

  5. 답장 보내기: 고객에게 응답을 보냅니다.

3.2 메모리 액세스 로직

• 비축각 카테고리에 대한 요약은 메모리 뱅크에 노드로 저장됩니다. 예를 들어 '새 제품 FAQ'는 해당 요약이 포함된 메모리 노드입니다.
• 검색추론 프로세스에서 시스템은 관련 카테고리의 요약을 읽고 이 요약을 기반으로 응답을 생성합니다.
• 업데이트새 데이터가 도착하면 최신 지식을 반영하여 요약이 업데이트됩니다. 예를 들어 새 제품에 대한 새 FAQ가 수신되면 '새 제품 FAQ' 노드의 요약이 업데이트됩니다.

4. CLOB와 CIS의 차이점

• CLOB 은 모델 매개변수를 수정하지 않고 언어적 단서를 사용한 학습을 강조하는 보다 광범위한 연속 학습 패러다임입니다. 다양한 유형의 작업과 데이터에 적용할 수 있습니다.
• WASC 는 증분 요약을 사용하여 지식을 관리하고 LLM의 입력 길이 제한을 해결하는 데 중점을 둔 CLOB의 구체적인 구현입니다. 고객 서비스 시나리오에서 CIS는 동적으로 업데이트되는 요약 리포지토리를 유지함으로써 변화하는 고객 요구사항과 지식을 효율적으로 처리할 수 있습니다.

5. 예: 고객 서비스 프로세스의 CIS 전체 워크플로

5.1 새로운 미션 도착

고객 서비스 부서에서 신제품을 출시하고 관련 고객 문의를 처리해야 한다고 가정해 보겠습니다.

1. 데이터 수신신제품에 대한 자주 묻는 질문(FAQ)을 수신합니다.
2. 요약 생성::

   Reflector 提示：
   我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
   示例：
   1. 客户：这款新手机有哪些颜色？
   客服：这款手机有黑色、白色和蓝色三种颜色。
   2. 客户：这款手机的电池续航时间有多长？
   客服：这款手机的电池续航时间为两天。
   

   요약을 생성합니다:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   

3. 초록 보존'신제품 FAQ'의 요약을 메모리에 저장합니다.

5.2 이전 미션의 새로운 데이터 도착

새 제품 FAQ에 대한 새로운 질문이 접수되었다고 가정해 보겠습니다.

1. 새 데이터 수신:: 고객이 "이 휴대폰이 5G 네트워크를 지원하나요?"라고 질문합니다.
2. 업데이트된 요약::

   Updater 提示：
   下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
   原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   额外示例：
   1. 客户：这款手机支持5G网络吗？
   客服：是的，这款手机支持5G网络。
   

   업데이트된 요약:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

3. 업데이트된 요약 저장메모리 뱅크의 원래 요약을 업데이트된 요약으로 바꿉니다.

5.3 추론 프로세스

1. 고객 문의 접수고객이 "이 휴대폰은 어떤 색상으로 나오나요?"라고 묻습니다.
2. 1단계::

   Solver 提示（步骤 1）：
   请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
   测试样本：这款手机有哪些颜色？
   列出的列表：
   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

   출력:

   新产品 FAQ：0.95
   

3. 2단계신뢰 수준이 가장 높은 상위 k=1 카테고리(예: "신제품 FAQ")를 선택합니다.
4. 답글 생성하기: '새 제품 FAQ' 카테고리의 요약을 기반으로 답변을 생성합니다:

   客服回复：这款手机有黑色、白色和蓝色三种颜色。
   

5. 답장 보내기: 고객에게 응답을 보냅니다.

5.4 지속적인 학습

예를 들어 시간이 지남에 따라 고객 서비스 센터에 신제품에 대한 문의가 더 많이 들어올 수 있습니다:

• 고객이 "이 휴대폰의 크기가 어떻게 되나요?"라고 묻습니다.
• 고객이 "이 전화기 가격이 얼마인가요?"라고 묻습니다.

이 새로운 데이터는 CIS 업데이트 메커니즘을 통해 '신제품 FAQ' 카테고리의 요약에 추가될 예정입니다:

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

업데이트된 요약:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. 요약

위의 예시를 통해 CIS가 고객 서비스 프로세스에서 강력한 지속적 학습 능력을 보여주고 있음을 알 수 있습니다:

• 동적 업데이트(인터넷)새로운 데이터를 기반으로 카테고리 요약을 동적으로 업데이트하는 기능.
• 효율적인 추론요약 라이브러리를 통해 고객 문의에 해당하는 카테고리를 빠르게 찾아 정확한 답변을 생성합니다.
• 누적 지식시간이 지남에 따라 초록 라이브러리는 고객에게 더 나은 서비스를 제공하기 위해 계속해서 지식을 쌓아가고 있습니다.

CLOB와 CIS를 기반으로 하는 이러한 지속적인 학습 패러다임은 고객 서비스 분야에서 새로운 기회를 열어 조직이 고객 문의를 보다 효율적으로 처리하고 고객 만족도를 향상시킬 수 있도록 지원합니다.

7. 향후 전망

CLOB와 CIS는 고객 서비스 시나리오에서 큰 잠재력을 보여주지만, 다음과 같은 추가 검토가 필요한 문제들이 여전히 남아 있습니다:

• 멀티모달 데이터 처리텍스트, 이미지, 음성 등 여러 형태의 데이터를 요약 라이브러리에 어떻게 통합하나요?
• 맞춤형 서비스다양한 고객의 요구와 선호도에 따라 어떻게 개인화된 응답을 제공하나요?
• 화제성고객 문의를 실시간으로 처리하는 시스템의 기능을 어떻게 더 향상시킬 수 있을까요?

지속적인 연구와 혁신을 통해 CLOB와 CIS는 더 다양한 고객 서비스 시나리오에서 더 큰 역할을 수행하고 조직을 위해 더 큰 가치를 창출할 것으로 기대됩니다.