CLOB: Aprendizado contínuo de uma série de tarefas por um modelo de linguagem grande usando apenas palavras-chave

Texto original:https://arxiv.org/pdf/2412.15479

Interpretação:Este artigo em si não é muito inovador e tem pouca aplicação. No entanto, ele me faz lembrar de três artigos altamente informativos que li há muito, muito tempo, e a leitura deste artigo em conjunto com os três anteriores lhe trará mais inspiração. Leitura recomendada. Intenções: a zep explica como fazer com que grandes modelos entendam as intenções dos clientes. A Convenção sobre a Eliminação de Todas as Formas de Discriminação contra as Mulheres. CoD: Chain of Density (Cadeia de densidade) A Convenção sobre a Eliminação de Todas as Formas de Discriminação contra as Mulheres. Ragas: avaliando a precisão do RAG recall QA e a correlação de respostas " (concentre-se na seção de avaliação de confiança).

Leitura rápida: "Uma análise aprofundada de CLOBs e CIS: um novo paradigma para o aprendizado contínuo com base em modelos de linguagem grandes e de caixa preta

No campo da inteligência artificial, a aprendizagem contínua (CL) tem sido uma direção de pesquisa muito comentada. Com o surgimento dos LLMs (Large Language Models, Modelos de Linguagem de Grande Porte), tornou-se um tópico importante a forma de permitir que os modelos aprendam continuamente novas tarefas sem treinar novamente o modelo inteiro e, ao mesmo tempo, evitar o esquecimento de conhecimentos antigos. Neste artigo, apresentaremos um novo paradigma de aprendizado contínuo - oCLOB (Aprendizado contínuo em LLMs de caixa preta)e as propostas baseadas neleCIS (CL contextual por meio de resumos incrementais)e ajuda os leitores a compreenderem melhor seus principais mecanismos e benefícios por meio de exemplos detalhados de processos e fluxos de trabalho de atendimento ao cliente.

1. desafios para o aprendizado contínuo

Nos cenários tradicionais de aprendizagem contínua, o modelo precisa aprender uma série de tarefas passo a passo, e os dados de cada tarefa geralmente são descartados após o treinamento. Embora essa abordagem economize espaço de armazenamento, ela também introduz o problema do **esquecimento catastrófico**, em que o modelo esquece o que aprendeu anteriormente à medida que aprende novas tarefas.

1.1 Limitações dos métodos tradicionais

• Ajuste fino de parâmetrosAdaptação a novas tarefas por meio do ajuste fino dos parâmetros do modelo, mas tende a levar ao esquecimento de tarefas antigas.
• Destilação de conhecimentoMigração de conhecimento de modelos antigos para novos modelos é complexa e de implementação computacionalmente cara.
• reprodução de dadosRetenção de alguns dos dados de tarefas antigas para treinamento, mas requer espaço de armazenamento adicional e pode gerar preocupações com a privacidade.

2. CLOB: um novo paradigma para o aprendizado contínuo com modelagem de linguagem grande Black-Box

O CLOB (Continual Learning Over Black-box LLMs) é um novo paradigma de aprendizado contínuo que trata um grande modelo de linguagem como uma caixa preta e alcança o aprendizado contínuo somente por meio de **Verbal Prompting** sem nenhum ajuste fino dos parâmetros do modelo ou adição de parâmetros treináveis.

2.1 Principais benefícios do CLOB

• Evitar o esquecimento de parâmetrosNão há esquecimento catastrófico baseado em parâmetros porque os parâmetros do modelo não são alterados.
• Alta flexibilidadeAplica-se a LLMs acessados por meio de APIs sem acesso à estrutura interna do modelo.
• Altamente escalávelFacilmente expansível para mais tarefas e categorias.

2.2 Como o CLOB funciona

O fluxo de trabalho do CLOB pode ser resumido nas etapas a seguir:

1. Chegada da missãoQuando uma nova tarefa chega, o sistema recebe uma parte dos dados de treinamento para essa tarefa.
2. Geração de abstratosUse o LLM para gerar resumos para cada categoria, projetados para capturar as principais informações de cada categoria.
3. Poupança de abstratoOs resumos gerados são salvos no **Repositório de memória** como base para o aprendizado e o raciocínio subsequentes.

Figura 1: Visão geral do sistema CLOB. O lado esquerdo mostra o uso do CIS no CLOB, e o lado direito mostra dicas para o uso de cada componente no processo de aprendizagem.

3. CIS: Aprendizagem contínua no contexto com base em resumos incrementais

O CIS (in-context CL via Incremental Summarization) é uma implementação específica do CLOB que aproveita os recursos de resumo do LLM para permitir o aprendizado contínuo por meio da atualização incremental dos resumos.

3.1 Principais componentes do CIS

3.1.1 Gerador de resumo (refletor)

• funcionalidadeGerar um resumo de cada categoria à medida que novas tarefas chegam.
• fluxo de trabalho::
  1. Receber novos dados da missão: Por exemplo, o atendimento ao cliente recebe perguntas frequentes (FAQs) sobre novos produtos.
  2. Gerar um resumoUse as dicas a seguir para gerar um resumo para cada categoria:

     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：[客户关于新产品的常见问题及解答]
     

     Exemplo:

     提示：
     我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
     示例：
     1. 客户：这款新手机有哪些颜色？
     客服：这款手机有黑色、白色和蓝色三种颜色。
     2. 客户：这款手机的电池续航时间有多长？
     客服：这款手机的电池续航时间为两天。
     

     Gerar um resumo:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     

  3. Preservação de resumosSalvar o resumo gerado na memória.

3.1.2 Atualizador de resumo

• funcionalidadeAtualizar o resumo da categoria relevante quando novos dados forem recebidos para a tarefa antiga.
• fluxo de trabalho::
  1. Receber novos dadosPor exemplo, o atendimento ao cliente recebe novas perguntas sobre as perguntas frequentes sobre novos produtos.
  2. Resumo atualizadoUse as dicas a seguir para atualizar o resumo da categoria relevante:

     下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
     原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
     额外示例：
     1. 客户：这款手机支持5G网络吗？
     客服：是的，这款手机支持5G网络。
     

     Resumo atualizado:

     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

  3. Salvar o resumo atualizadoResumo de dados: Substitui o resumo original no banco de memória pelo resumo atualizado.

3.1.3 Solucionador

• funcionalidadeRealiza raciocínio categórico e lida com as dúvidas dos clientes.
• fluxo de trabalho::
  1. Receber consultas de clientesPor exemplo, um cliente pergunta "Quais são as cores desse celular?".
  2. Etapa 1::

     Solver 提示（步骤 1）：
     请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
     测试样本：这款手机有哪些颜色？
     列出的列表：
     新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
     

     Saída:

     新产品 FAQ：0.95
     

  3. Etapa 2Selecione a categoria k=1 superior com o nível de confiança mais alto, ou seja, "Perguntas frequentes sobre novos produtos".
  4. Gerar uma respostaGerar uma resposta com base no resumo da categoria "Perguntas frequentes sobre novos produtos":

     客服回复：这款手机有黑色、白色和蓝色三种颜色。
     

  5. Enviar uma respostaEnviar a resposta ao cliente.

3.2 Lógica de acesso à memória

• estoqueResumo: O resumo de cada categoria é armazenado como um nó no banco de memória. Por exemplo, "New Products FAQ" é um nó de memória que contém o resumo correspondente.
• recuperarNo processo de raciocínio, o sistema lê resumos de categorias relevantes e gera respostas com base nesses resumos.
• atualizaçãoQuando novos dados chegam, o resumo é atualizado para refletir o conhecimento mais recente. Por exemplo, quando uma nova FAQ sobre um novo produto é recebida, o resumo do nó "New Product FAQ" é atualizado.

4. diferença entre CLOB e CIS

• CLOB é um paradigma de aprendizado contínuo mais amplo que enfatiza o aprendizado usando dicas linguísticas sem modificar os parâmetros do modelo. Ele é aplicável a vários tipos de tarefas e dados.
• WASC O CIS é uma implementação específica do CLOB que se concentra no uso de resumos incrementais para gerenciar o conhecimento e abordar a limitação de comprimento de entrada dos LLMs. Em cenários de atendimento ao cliente, o CIS é capaz de lidar com eficiência com as mudanças nos requisitos e no conhecimento do cliente, mantendo um repositório de resumo atualizado dinamicamente.

5. exemplo: fluxo de trabalho completo do CIS no processo de atendimento ao cliente

5.1 Chegada de novas missões

Suponha que o departamento de atendimento ao cliente tenha lançado um novo produto e precise lidar com as consultas dos clientes relacionadas a ele.

1. receber dadosPerguntas frequentes: O sistema recebe perguntas frequentes (FAQ) sobre novos produtos.
2. Gerar um resumo::

   Reflector 提示：
   我将向你展示来自同一类别的几个示例。基于这些示例，请提供该类别的摘要，不超过 3 句话。请注意，你的摘要不应包含任何示例。
   示例：
   1. 客户：这款新手机有哪些颜色？
   客服：这款手机有黑色、白色和蓝色三种颜色。
   2. 客户：这款手机的电池续航时间有多长？
   客服：这款手机的电池续航时间为两天。
   

   Gerar um resumo:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   

3. Preservação de resumosFAQ: Salva o resumo das "Perguntas frequentes sobre novos produtos" na memória.

5.2 Chegada de novos dados de missões antigas

Suponha que seja recebida uma nova pergunta sobre as perguntas frequentes sobre o novo produto.

1. Receber novos dados:: Os clientes perguntam: "Esse telefone é compatível com redes 5G?"
2. Resumo atualizado::

   Updater 提示：
   下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
   原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天。
   额外示例：
   1. 客户：这款手机支持5G网络吗？
   客服：是的，这款手机支持5G网络。
   

   Resumo atualizado:

   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

3. Salvar o resumo atualizadoResumo de dados: Substitui o resumo original no banco de memória pelo resumo atualizado.

5.3 Processo de raciocínio

1. Receber consultas de clientesO cliente pergunta: "Quais são as cores desse celular?"
2. Etapa 1::

   Solver 提示（步骤 1）：
   请告诉我你对测试样本属于我提供的每个类别的置信度分数。我将向你提供这些类别的摘要作为参考。摘要的格式为 '<类别名称>: [摘要]'。你的回答应仅包含类别名称和相应的置信度分数作为答案。
   测试样本：这款手机有哪些颜色？
   列出的列表：
   新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
   

   Saída:

   新产品 FAQ：0.95
   

3. Etapa 2Selecione a categoria k=1 superior com o nível de confiança mais alto, ou seja, "Perguntas frequentes sobre novos produtos".
4. Gerar uma respostaGerar uma resposta com base no resumo da categoria "Perguntas frequentes sobre novos produtos":

   客服回复：这款手机有黑色、白色和蓝色三种颜色。
   

5. Enviar uma respostaEnviar a resposta ao cliente.

5.4 Aprendizado contínuo

Com o tempo, o atendimento ao cliente pode receber mais consultas sobre novos produtos, por exemplo:

• Os clientes perguntam: "Qual é o tamanho desse celular?"
• Os clientes perguntam: "Quanto custa esse telefone?"

Esses novos dados serão adicionados ao resumo da categoria "Perguntas frequentes sobre novos produtos" por meio do mecanismo de atualização do CIS:

Updater 提示：
下面是某个类别的原始摘要。我现在将提供 m 个该类别内的额外示例。基于这些，请相应地更新摘要。确保更新后的摘要不超过 3 句话。
原始摘要：新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络。
额外示例：
1. 客户：这款手机的尺寸是多少？
客服：这款手机的尺寸为 146.7mm x 71.5mm x 7.65mm。
2. 客户：这款手机的价格是多少？
客服：这款手机的价格为 999 美元。

Resumo atualizado:

新产品 FAQ：这款手机有黑色、白色和蓝色三种颜色，电池续航时间为两天，支持5G网络，尺寸为 146.7mm x 71.5mm x 7.65mm，价格为 999 美元。

6. resumo

Com o exemplo acima, podemos ver que o CIS demonstra um forte aprendizado contínuo no processo de atendimento ao cliente:

• atualização dinâmica (Internet)Capacidade de atualizar dinamicamente os resumos de categorias com base em novos dados.
• Raciocínio eficienteLocalize rapidamente a categoria correspondente a uma consulta do cliente por meio da biblioteca de resumos e gere uma resposta precisa.
• conhecimento cumulativo: Com o passar do tempo, a Abstract Library continua a desenvolver conhecimento para atender melhor aos nossos clientes.

Esse paradigma de aprendizado contínuo, baseado em CLOBs e CIS, abre novas oportunidades no campo do atendimento ao cliente, permitindo que as organizações lidem com as dúvidas dos clientes de forma mais eficiente e aumentem sua satisfação.

7. perspectivas futuras

Embora os CLOBs e os CIS apresentem um grande potencial em cenários de atendimento ao cliente, ainda há os seguintes problemas que merecem ser explorados:

• Processamento de dados multimodaisComo integrar várias formas de dados, como texto, imagens e fala, em uma biblioteca de resumos?
• Serviço personalizadoComo você fornece respostas personalizadas com base nas necessidades e preferências de diferentes clientes?
• atualidadeComo a natureza em tempo real do tratamento das consultas dos clientes pelo sistema pode ser aprimorada ainda mais?

Por meio de pesquisa e inovação contínuas, espera-se que o CLOB e o CIS desempenhem um papel mais importante em uma variedade maior de cenários de atendimento ao cliente e criem mais valor para as organizações.