Microsoft lança ferramenta de correção: ela pode acabar com a crise de confiança causada pelas alucinações da IA?

A Microsoft lançou recentemente uma ferramenta de IA chamada "Correction" (Correção), que tem como objetivo resolver o problema de longa data da "ilusão de IA" em modelos de IA generativos. Isso não apenas faz com que os usuários questionem a credibilidade da IA, mas também limita a aplicação da IA em campos que exigem um alto grau de precisão. A ferramenta de correção da Microsoft, que está integrada à API de segurança de conteúdo de IA do Microsoft Azure, tem como objetivo ajudar os usuários a reduzir o impacto negativo de tais problemas.

Como funciona a ferramenta de correção?

A ferramenta Correction emprega dois modelos que trabalham em conjunto: por um lado, o modelo classificador é usado para sinalizar o conteúdo gerado que pode ser incorreto, fictício ou irrelevante, enquanto, por outro lado, o modelo de linguagem é responsável por comparar e corrigir esses erros com "fatos" certificados. Essa abordagem de validação cruzada pode melhorar efetivamente a precisão e a confiabilidade do conteúdo gerado por IA. De acordo com a Microsoft, o Correction não é compatível apenas com seus próprios modelos generativos, mas também pode ser usado com modelos generativos convencionais, como o Llama da Meta e o GPT-4 da OpenAI.

O enigma da ilusão da IA permanece

Embora o lançamento da ferramenta de correção ofereça uma certa solução para o problema de alucinação da IA, os especialistas ainda têm reservas quanto a ela. Os Keyes, pesquisador da Universidade de Washington, destacou que tentar eliminar as alucinações da IA é tão difícil quanto tentar remover o hidrogênio da água, pois o problema da alucinação faz parte do mecanismo de operação da IA generativa. Enquanto isso, outros especialistas alertaram que, mesmo que a Correction seja eficaz na redução do problema de alucinação, ela poderá desencadear uma falsa sensação de segurança de que os usuários dependem demais da IA.

Além disso, o lançamento da ferramenta Correction reflete o alto nível de preocupação do setor de IA generativa com a segurança e a precisão do conteúdo. Especialmente em áreas como saúde e direito, em que a precisão é necessária, a questão das alucinações da IA pode ter consequências graves. A correção pode ajudar os desenvolvedores a usar a tecnologia de IA de forma mais eficaz nessas áreas críticas, reduzindo a insatisfação do usuário e os possíveis riscos à reputação, disse a Microsoft.

Confiança e o futuro da IA

A ferramenta de correção da Microsoft é apenas um passo para resolver o problema das alucinações da IA. Embora possa não resolver completamente esse complexo desafio técnico, é um desenvolvimento importante para aumentar a credibilidade da IA generativa. No futuro, à medida que a tecnologia continuar a melhorar e outras medidas de segurança forem introduzidas, a IA poderá conquistar gradualmente a confiança de mais usuários. No entanto, os especialistas do setor também alertam que os usuários ainda precisam ser cautelosos ao confiar no conteúdo gerado pela IA e garantir que as informações sejam verificadas conforme necessário.