CLOB: Aprendizado contínuo de uma série de tarefas por um modelo de linguagem grande usando apenas palavras-chave

Texto original:https://arxiv.org/pdf/2412.15479

Interpretação:Este artigo em si não é muito inovador e tem pouca aplicação. No entanto, ele me faz lembrar de três artigos altamente informativos que li há muito, muito tempo, e a leitura deste artigo em conjunto com os três anteriores lhe trará mais inspiração. Leitura recomendada. Intenções: a zep explica como fazer com que grandes modelos entendam as intenções dos clientes. A Convenção sobre a Eliminação de Todas as Formas de Discriminação contra as Mulheres. CoD: Chain of Density (Cadeia de densidade) A Convenção sobre a Eliminação de Todas as Formas de Discriminação contra as Mulheres. Ragas: avaliando a precisão do RAG recall QA e a correlação de respostas " (concentre-se na seção de avaliação de confiança).

Leitura rápida: "Uma análise aprofundada de CLOBs e CIS: um novo paradigma para o aprendizado contínuo com base em modelos de linguagem grandes e de caixa preta

No campo da inteligência artificial, a aprendizagem contínua (CL) tem sido uma direção de pesquisa muito comentada. Com o surgimento dos LLMs (Large Language Models, Modelos de Linguagem de Grande Porte), tornou-se um tópico importante a forma de permitir que os modelos aprendam continuamente novas tarefas sem treinar novamente o modelo inteiro e, ao mesmo tempo, evitar o esquecimento de conhecimentos antigos. Neste artigo, apresentaremos um novo paradigma de aprendizado contínuo - oCLOB (Aprendizado contínuo em LLMs de caixa preta)e as propostas baseadas neleCIS (CL contextual por meio de resumos incrementais)e ajuda os leitores a compreenderem melhor seus principais mecanismos e benefícios por meio de exemplos detalhados de processos e fluxos de trabalho de atendimento ao cliente.

1. desafios para o aprendizado contínuo

Nos cenários tradicionais de aprendizagem contínua, o modelo precisa aprender uma série de tarefas passo a passo, e os dados de cada tarefa geralmente são descartados após o treinamento. Embora essa abordagem economize espaço de armazenamento, ela também introduz o problema do **esquecimento catastrófico**, em que o modelo esquece o que aprendeu anteriormente à medida que aprende novas tarefas.

1.1 Limitações dos métodos tradicionais

• Ajuste fino de parâmetrosAdaptação a novas tarefas por meio do ajuste fino dos parâmetros do modelo, mas tende a levar ao esquecimento de tarefas antigas.
• Destilação de conhecimentoMigração de conhecimento de modelos antigos para novos modelos é complexa e de implementação computacionalmente cara.
• reprodução de dadosRetenção de alguns dos dados de tarefas antigas para treinamento, mas requer espaço de armazenamento adicional e pode gerar preocupações com a privacidade.

2. CLOB: um novo paradigma para o aprendizado contínuo com modelagem de linguagem grande Black-Box

O CLOB (Continual Learning Over Black-box LLMs) é um novo paradigma de aprendizado contínuo que trata um grande modelo de linguagem como uma caixa preta e alcança o aprendizado contínuo somente por meio de **Verbal Prompting** sem nenhum ajuste fino dos parâmetros do modelo ou adição de parâmetros treináveis.

2.1 Principais benefícios do CLOB

• Evitar o esquecimento de parâmetrosNão há esquecimento catastrófico baseado em parâmetros porque os parâmetros do modelo não são alterados.
• Alta flexibilidadeAplica-se a LLMs acessados por meio de APIs sem acesso à estrutura interna do modelo.
• Altamente escalávelFacilmente expansível para mais tarefas e categorias.

2.2 Como o CLOB funciona

O fluxo de trabalho do CLOB pode ser resumido nas etapas a seguir:

1. Chegada da missãoQuando uma nova tarefa chega, o sistema recebe uma parte dos dados de treinamento para essa tarefa.
2. Geração de abstratosUse o LLM para gerar resumos para cada categoria, projetados para capturar as principais informações de cada categoria.
3. Poupança de abstratoOs resumos gerados são salvos no **Repositório de memória** como base para o aprendizado e o raciocínio subsequentes.

Figura 1: Visão geral do sistema CLOB. O lado esquerdo mostra o uso do CIS no CLOB, e o lado direito mostra dicas para o uso de cada componente no processo de aprendizagem.

3. CIS: Aprendizagem contínua no contexto com base em resumos incrementais

O CIS (in-context CL via Incremental Summarization) é uma implementação específica do CLOB que aproveita os recursos de resumo do LLM para permitir o aprendizado contínuo por meio da atualização incremental dos resumos.

3.1 Principais componentes do CIS

3.1.1 Gerador de resumo (refletor)

• funcionalidadeGerar um resumo de cada categoria à medida que novas tarefas chegam.
• fluxo de trabalho::
  1. Receber novos dados da missão: Por exemplo, o atendimento ao cliente recebe perguntas frequentes (FAQs) sobre novos produtos.
  2. Gerar um resumoUse as dicas a seguir para gerar um resumo para cada categoria:

     Mostrarei a você vários exemplos da mesma categoria. Com base nesses exemplos, forneça um resumo da categoria, com no máximo três frases. Observe que seu resumo não deve conter nenhum exemplo.
     Exemplo: [Perguntas e respostas frequentes de clientes sobre um novo produto].
     

     Exemplo:

     Dica:
     Mostrarei a você vários exemplos da mesma categoria. Com base nesses exemplos, forneça um resumo da categoria, com no máximo três frases. Observe que seu resumo não deve incluir nenhum exemplo.
     Exemplos:
     1. Cliente: Quais são as cores desse novo telefone?
     Atendimento ao cliente: Este telefone vem em preto, branco e azul.
     2) Cliente: Qual é a duração da bateria deste telefone?
     Customer Service: A duração da bateria deste telefone é de dois dias.
     

     Gerar um resumo:

     Novidades Perguntas frequentes: O telefone vem em preto, branco e azul e tem uma bateria com duração de dois dias.
     

  3. Preservação de resumosSalvar o resumo gerado na memória.

3.1.2 Atualizador de resumo

• funcionalidadeAtualizar o resumo da categoria relevante quando novos dados forem recebidos para a tarefa antiga.
• fluxo de trabalho::
  1. Receber novos dadosPor exemplo, o atendimento ao cliente recebe novas perguntas sobre as perguntas frequentes sobre novos produtos.
  2. Resumo atualizadoUse as dicas a seguir para atualizar o resumo da categoria relevante:

     Abaixo está o resumo original de uma categoria. Agora fornecerei exemplos adicionais dentro dessa categoria. Com base neles, atualize o resumo de acordo. Certifique-se de que o resumo atualizado não tenha mais de 3 frases.
     Resumo original: Perguntas frequentes sobre o novo produto: Este telefone vem em preto, branco e azul e tem uma bateria com duração de dois dias.
     Exemplos adicionais:
     1. Cliente: Este telefone é compatível com a rede 5G?
     Atendimento ao cliente: Sim, este telefone é compatível com a rede 5G.
     

     Resumo atualizado:

     Novidades nas Perguntas frequentes: o telefone vem em preto, branco e azul, tem uma bateria com duração de dois dias e é compatível com redes 5G.
     

  3. Salvar o resumo atualizadoResumo de dados: Substitui o resumo original no banco de memória pelo resumo atualizado.

3.1.3 Solucionador

• funcionalidadeRealiza raciocínio categórico e lida com as dúvidas dos clientes.
• fluxo de trabalho::
  1. Receber consultas de clientesPor exemplo, um cliente pergunta "Quais são as cores desse celular?".
  2. Etapa 1::

     Dica para o solucionador (Etapa 1):
     Informe seu grau de confiança de que a amostra de teste pertence a cada uma das categorias que forneci. Eu lhe fornecerei um resumo dessas categorias como referência. O formato do resumo é ": [resumo]". Sua resposta deve conter apenas o nome da categoria e a pontuação de confiança correspondente como resposta.
     Exemplo de teste: quais são as cores desse celular?
     Lista listada:
     What's New FAQ: este telefone vem em preto, branco e azul, tem bateria com duração de dois dias e é compatível com redes 5G.
     

     Saída:

     Perguntas frequentes sobre novos produtos: 0,95
     

  3. Etapa 2Selecione a categoria k=1 superior com o nível de confiança mais alto, ou seja, "Perguntas frequentes sobre novos produtos".
  4. Gerar uma respostaGerar uma resposta com base no resumo da categoria "Perguntas frequentes sobre novos produtos":

     Resposta do Atendimento ao Cliente:Este telefone está disponível nas cores preta, branca e azul.
     

  5. Enviar uma respostaEnviar a resposta ao cliente.

3.2 Lógica de acesso à memória

• estoqueResumo: O resumo de cada categoria é armazenado como um nó no banco de memória. Por exemplo, "New Products FAQ" é um nó de memória que contém o resumo correspondente.
• recuperarNo processo de raciocínio, o sistema lê resumos de categorias relevantes e gera respostas com base nesses resumos.
• atualizaçãoQuando novos dados chegam, o resumo é atualizado para refletir o conhecimento mais recente. Por exemplo, quando uma nova FAQ sobre um novo produto é recebida, o resumo do nó "New Product FAQ" é atualizado.

4. diferença entre CLOB e CIS

• CLOB é um paradigma de aprendizado contínuo mais amplo que enfatiza o aprendizado usando dicas linguísticas sem modificar os parâmetros do modelo. Ele é aplicável a vários tipos de tarefas e dados.
• WASC O CIS é uma implementação específica do CLOB que se concentra no uso de resumos incrementais para gerenciar o conhecimento e abordar a limitação de comprimento de entrada dos LLMs. Em cenários de atendimento ao cliente, o CIS é capaz de lidar com eficiência com as mudanças nos requisitos e no conhecimento do cliente, mantendo um repositório de resumo atualizado dinamicamente.

5. exemplo: fluxo de trabalho completo do CIS no processo de atendimento ao cliente

5.1 Chegada de novas missões

Suponha que o departamento de atendimento ao cliente tenha lançado um novo produto e precise lidar com as consultas dos clientes relacionadas a ele.

1. receber dadosPerguntas frequentes: O sistema recebe perguntas frequentes (FAQ) sobre novos produtos.
2. Gerar um resumo::

   Dicas de refletores:
   Mostrarei a você vários exemplos da mesma categoria. Com base nesses exemplos, forneça um resumo da categoria, com no máximo três frases. Observe que seu resumo não deve conter nenhum exemplo.
   Exemplos:
   1. Cliente: Quais são as cores desse novo telefone?
   Atendimento ao cliente: Este telefone vem em preto, branco e azul.
   2) Cliente: Qual é a duração da bateria deste telefone?
   Customer Service: A duração da bateria deste telefone é de dois dias.
   

   Gerar um resumo:

   Novidades Perguntas frequentes: O telefone vem em preto, branco e azul e tem uma bateria com duração de dois dias.
   

3. Preservação de resumosFAQ: Salva o resumo das "Perguntas frequentes sobre novos produtos" na memória.

5.2 Chegada de novos dados de missões antigas

Suponha que seja recebida uma nova pergunta sobre as perguntas frequentes sobre o novo produto.

1. Receber novos dados:: Os clientes perguntam: "Esse telefone é compatível com redes 5G?"
2. Resumo atualizado::

   Dica do Atualizador:
   Abaixo está o resumo original de uma categoria. Agora fornecerei exemplos adicionais dentro dessa categoria. Com base neles, atualize o resumo de acordo. Certifique-se de que o resumo atualizado não tenha mais do que 3 frases.
   Resumo original: What's New FAQ: Este telefone vem em preto, branco e azul e tem uma bateria com duração de dois dias.
   Exemplos adicionais:
   1. cliente: Este telefone é compatível com a rede 5G?
   Atendimento ao cliente: Sim, este telefone é compatível com a rede 5G.
   

   Resumo atualizado:

   Novidades nas Perguntas frequentes: o telefone vem em preto, branco e azul, tem uma bateria com duração de dois dias e é compatível com redes 5G.
   

3. Salvar o resumo atualizadoResumo de dados: Substitui o resumo original no banco de memória pelo resumo atualizado.

5.3 Processo de raciocínio

1. Receber consultas de clientesO cliente pergunta: "Quais são as cores desse celular?"
2. Etapa 1::

   Dica para o solucionador (Etapa 1):
   Informe seu grau de confiança de que a amostra de teste pertence a cada uma das categorias que forneci. Eu lhe fornecerei um resumo dessas categorias como referência. O formato do resumo é ": [resumo]". Sua resposta deve conter apenas o nome da categoria e a pontuação de confiança correspondente como resposta.
   Exemplo de teste: quais são as cores desse celular?
   Lista listada:
   What's New FAQ: este telefone vem em preto, branco e azul, tem bateria com duração de dois dias e é compatível com redes 5G.
   

   Saída:

   Perguntas frequentes sobre novos produtos: 0,95
   

3. Etapa 2Selecione a categoria k=1 superior com o nível de confiança mais alto, ou seja, "Perguntas frequentes sobre novos produtos".
4. Gerar uma respostaGerar uma resposta com base no resumo da categoria "Perguntas frequentes sobre novos produtos":

   Resposta do Atendimento ao Cliente:Este telefone está disponível nas cores preta, branca e azul.
   

5. Enviar uma respostaEnviar a resposta ao cliente.

5.4 Aprendizado contínuo

Com o tempo, o atendimento ao cliente pode receber mais consultas sobre novos produtos, por exemplo:

• Os clientes perguntam: "Qual é o tamanho desse celular?"
• Os clientes perguntam: "Quanto custa esse telefone?"

Esses novos dados serão adicionados ao resumo da categoria "Perguntas frequentes sobre novos produtos" por meio do mecanismo de atualização do CIS:

Dica do Atualizador:
Abaixo está o resumo original de uma categoria. Agora fornecerei exemplos adicionais dentro dessa categoria. Com base neles, atualize o resumo de acordo. Certifique-se de que o resumo atualizado não tenha mais do que 3 frases.
Resumo original: Novidades Perguntas frequentes: Este telefone vem em preto, branco e azul, tem uma bateria com duração de dois dias e é compatível com redes 5G.
Exemplos adicionais:
1. cliente: qual é o tamanho deste telefone?
Cliente: As dimensões desse telefone são 146,7 mm x 71,5 mm x 7,65 mm.
2) Cliente: Qual é o preço desse telefone?
Atendimento ao cliente: O preço desse telefone é US$ 999.

Resumo atualizado:

Perguntas frequentes sobre o que há de novo: o telefone vem em preto, branco e azul, tem bateria com duração de dois dias, é compatível com redes 5G, mede 146,7 mm x 71,5 mm x 7,65 mm e custa US$ 999.

6. resumo

Com o exemplo acima, podemos ver que o CIS demonstra um forte aprendizado contínuo no processo de atendimento ao cliente:

• atualização dinâmica (Internet)Capacidade de atualizar dinamicamente os resumos de categorias com base em novos dados.
• Raciocínio eficienteLocalize rapidamente a categoria correspondente a uma consulta do cliente por meio da biblioteca de resumos e gere uma resposta precisa.
• conhecimento cumulativo: Com o passar do tempo, a Abstract Library continua a desenvolver conhecimento para atender melhor aos nossos clientes.

Esse paradigma de aprendizado contínuo, baseado em CLOBs e CIS, abre novas oportunidades no campo do atendimento ao cliente, permitindo que as organizações lidem com as dúvidas dos clientes de forma mais eficiente e aumentem sua satisfação.

7. perspectivas futuras

Embora os CLOBs e os CIS apresentem um grande potencial em cenários de atendimento ao cliente, ainda há os seguintes problemas que merecem ser explorados:

• Processamento de dados multimodaisComo integrar várias formas de dados, como texto, imagens e fala, em uma biblioteca de resumos?
• Serviço personalizadoComo você fornece respostas personalizadas com base nas necessidades e preferências de diferentes clientes?
• atualidadeComo a natureza em tempo real do tratamento das consultas dos clientes pelo sistema pode ser aprimorada ainda mais?

Por meio de pesquisa e inovação contínuas, espera-se que o CLOB e o CIS desempenhem um papel mais importante em uma variedade maior de cenários de atendimento ao cliente e criem mais valor para as organizações.