Desvendando a ilusão do grande modelo: as classificações do HHEM fornecem informações sobre o estado da consistência factual no LLM

Embora os recursos dos Modelos de Linguagem Ampla (LLMs) estejam em constante evolução, o fenômeno de erros factuais ou "ilusões" de informações não relacionadas ao texto original em seus resultados sempre foi um grande desafio que impediu seu uso mais amplo e uma confiança mais profunda. Para avaliar quantitativamente esse problema, oClassificação do Modelo de Avaliação de Alucinação de Hughes (HHEM)foi criado com o objetivo de medir a frequência de fantasmas em LLMs convencionais ao gerar resumos de documentos.

O termo "ilusão" refere-se ao fato de que o modelo introduz "fatos" no resumo que não estão contidos no documento original, ou até mesmo contraditórios. Esse é um gargalo crítico de qualidade para cenários de processamento de informações que dependem do LLM, especialmente aqueles baseados na Geração Aumentada de Recuperação (RAG). Afinal, se o modelo não for fiel às informações fornecidas, a credibilidade de seu resultado será bastante reduzida.

Como o HHEM funciona?

A classificação usa o modelo de avaliação de alucinação HHEM-2.1 desenvolvido pela Vectara. Funciona assim: para um documento de origem e um resumo gerado por um LLM específico, o modelo HHEM gera uma pontuação de alucinação entre 0 e 1. Quanto mais próxima de 1 for a pontuação, maior será a consistência factual do resumo com o documento de origem; quanto mais próxima de 0, mais grave será a alucinação, ou até mesmo o conteúdo completamente fabricado. A Vectara também fornece uma versão de código aberto, o HHEM-2.1-Open, para que pesquisadores e desenvolvedores realizem a avaliação localmente, e seus cartões de modelo são publicados na plataforma Hugging Face.

Referências de avaliação

A avaliação utilizou um conjunto de dados de 1006 documentos, principalmente de conjuntos de dados disponíveis publicamente, como o clássico CNN/Daily Mail Corpus. A equipe do projeto gerou um resumo para cada documento usando os LLMs individuais envolvidos na avaliação e, em seguida, calculou a pontuação HHEM para cada par (documento de origem, resumo gerado). Para garantir a padronização da avaliação, todas as chamadas de modelo foram definidas como temperature O parâmetro é 0 e tem o objetivo de obter o resultado mais determinístico do modelo.

Os indicadores de avaliação incluem, entre outros:

• Taxa de alucinação. Porcentagem de resumos com pontuações HHEM abaixo de 0,5. Quanto menor o valor, melhor.
• Taxa de consistência factual. 100% menos a taxa de alucinações, refletindo a proporção de resumos cujo conteúdo é fiel ao original.
• Taxa de resposta. Porcentagem de modelos que geram resumos não vazios com sucesso. Alguns modelos podem se recusar a responder ou cometer erros devido a políticas de segurança de conteúdo ou outros motivos.
• Duração média do resumo. O número médio de palavras nos resumos gerados fornece uma visão lateral do estilo de saída do modelo.

Explicação das classificações do LLM Illusion

Abaixo estão as classificações de alucinação do LLM com base na avaliação do modelo HHEM-2.1 (dados de 25 de março de 2025, consulte a atualização atual):

Observação: os modelos são classificados em ordem decrescente com base na taxa de phantom. A lista completa e os detalhes de acesso ao modelo podem ser visualizados no repositório original do GitHub do HHEM Leaderboard.

Uma olhada na tabela de classificação mostra que o Google Gemini e alguns dos modelos mais recentes da OpenAI (por exemplo, o o3-mini-high-reasoning) teve um desempenho impressionante, com a taxa de alucinações mantida em um nível muito baixo. Isso mostra o progresso feito pelos fornecedores de cabeçotes no aprimoramento da fatorialidade de seus modelos. Ao mesmo tempo, diferenças significativas podem ser observadas entre modelos de diferentes tamanhos e arquiteturas. Alguns modelos menores, como o Microsoft's Phi ou a série Gemma também obteve bons resultados, o que implica que o número de parâmetros do modelo não é o único determinante da consistência factual. Alguns modelos iniciais ou especificamente otimizados, no entanto, apresentam taxas relativamente altas de ilusões.

Incompatibilidade entre modelos de inferência fortes e bases de conhecimento: o caso do DeepSeek-R1

as paradas (de best-sellers) DeepSeek-R1 A taxa relativamente alta de alucinações (14,31 TP3T) levanta uma questão que vale a pena explorar: por que alguns modelos com bom desempenho em tarefas de raciocínio são propensos a alucinações em tarefas de resumo baseadas em fatos?

DeepSeek-R1 Esses modelos costumam ser projetados para lidar com raciocínio lógico complexo, seguir comandos e pensar em várias etapas. Sua força principal está na "dedução" e na "dedução" em vez de simplesmente "repetição" ou "parafraseamento". Entretanto, as bases de conhecimento (especialmente RAG (base de conhecimento em cenários), o requisito principal é exatamente o último: o modelo precisa responder ou resumir estritamente com base nas informações textuais fornecidas, minimizando a introdução de conhecimento externo ou a extração excessiva.

Quando um modelo de raciocínio forte se restringe a resumir apenas um determinado documento, seu instinto de "raciocínio" pode ser uma faca de dois gumes. Ele pode:

1. Interpretação excessiva. Extrapolar informações do texto original de forma desnecessariamente profunda e tirar conclusões que não estão explicitamente declaradas no texto original.
2. Informações sobre a costura. Tentativas de vincular as informações fragmentadas no texto original por meio de uma cadeia lógica "razoável" que pode não ser apoiada pelo texto original.
3. Conhecimento externo padrão. Mesmo quando solicitado a confiar apenas no texto original, o vasto conhecimento do mundo adquirido em seu treinamento ainda pode se infiltrar inconscientemente, levando a desvios dos fatos do texto original.

Simplificando, esses modelos podem "pensar demais" e, em cenários que exigem a reprodução precisa e fiel das informações, eles tendem a ser "inteligentes demais para seu próprio bem", criando conteúdo que parece ser razoável, mas que, na verdade, é uma ilusão. Isso mostra que a capacidade de raciocínio dos modelos e a consistência factual (especialmente no caso de fontes de informação restritas) são duas dimensões de capacidade diferentes. Em cenários como bases de conhecimento e RAGs, pode ser mais importante selecionar modelos com uma baixa taxa de alucinação que reflitam fielmente as informações de entrada do que simplesmente buscar uma pontuação de raciocínio.

Metodologia e histórico

A classificação HHEM não surgiu do nada e se baseia em vários esforços anteriores no campo da pesquisa de consistência factual, como os seguintes SUMMAC, TRUE, TrueTeacher A metodologia estabelecida nos artigos de et al. A ideia central é treinar um modelo específico para a detecção de alucinações que atinja um alto nível de correlação com avaliadores humanos em termos de julgamento da consistência do resumo com o texto original.

A tarefa de resumo foi selecionada pelo processo de avaliação como um indicador da factualidade do LLM. Isso se deve não apenas ao fato de a tarefa de resumo em si exigir um alto grau de consistência factual, mas também por ser muito semelhante ao modelo de trabalho do sistema RAG - no RAG, é o LLM que desempenha a função de integrar e resumir as informações recuperadas. Os resultados dessa classificação são, portanto, informativos para avaliar a confiabilidade do modelo nos aplicativos RAG.

É importante observar que a equipe de avaliação excluiu os documentos que os modelos se recusaram a responder ou que deram respostas muito curtas e inválidas e, por fim, usou os 831 documentos (dos 1006 originais) para os quais todos os modelos conseguiram gerar resumos para o cálculo da classificação final, a fim de garantir a imparcialidade. As métricas de taxa de resposta e comprimento médio do resumo também refletem os padrões de comportamento dos modelos ao processar essas solicitações.

O modelo de prompt usado para a avaliação é o seguinte:

You are a chat bot answering questions using data. You must stick to the answers provided solely by the text in the passage provided. You are asked the question 'Provide a concise summary of the following passage, covering the core pieces of information described.' <PASSAGE>'

No momento da chamada real, o<PASSAGE> será substituído pelo conteúdo do documento de origem específico.

olhando para frente

O programa de classificação HHEM indicou que planeja ampliar o escopo da avaliação no futuro:

• Precisão das citações. Adicione uma avaliação da precisão da citação de fontes do LLM nos cenários RAG.
• Outras tarefas RAG. Cobrir mais tarefas relacionadas ao RAG, como o resumo de vários documentos.
• Suporte a vários idiomas. Ampliar a avaliação para outros idiomas além do inglês.

A classificação do HHEM oferece uma janela valiosa para observar e comparar a capacidade de diferentes LLMs de controlar ilusões e manter a consistência factual. Embora não seja a única medida de qualidade do modelo, nem abranja todos os tipos de ilusões, ela certamente chamou a atenção do setor para a questão da confiabilidade do LLM e oferece um ponto de referência importante para os desenvolvedores selecionarem e otimizarem os modelos. À medida que os modelos e os métodos de avaliação continuam a ser iterados, podemos esperar um progresso ainda maior no fornecimento de informações precisas e confiáveis dos LLMs.