Por Que Modelos de Linguagem Ampla (LLMs) Alucinam: Descubra as Causas e Soluções

Imagine a cena: está tarde da noite, o prazo está cada vez mais próximo e você está encarando uma página em branco por horas. Finalmente, decide recorrer a um chatbot de IA para obter ajuda e, instantaneamente, ele gera uma resposta perfeitamente elaborada… mas completamente errada. Todos já passamos por isso. Esse momento de traição digital, alimentado por inteligência artificial (especialmente os LLMs), é chamado de “alucinação”.

Mas e se isso não é apenas um erro aleatório? E se for uma característica, não um bug? E se a forma como treinamos e avaliamos nossos modelos de IA mais avançados está ativamente ensinando-os a mentir ou alucinar dessa forma?

De acordo com um artigo recente, “Por Que Models de Linguagem Alucinam” de Adam Tauman Kalai e sua equipe da OpenAI e Georgia Tech, isso não é apenas mais uma análise técnica. É um alerta para toda a comunidade de IA, desde desenvolvedores até usuários finais. Eles argumentam que as alucinações não são ocorrências ambíguas; são resultados estatísticos naturais de um processo falho. E para consertá-las, não podemos simplesmente reescrever o código; temos que mudar a maneira como trabalhamos com os LLMs.

O Que Causa as Alucinações dos LLMs?

Para entender por que os LLMs alucinam, precisamos voltar ao ponto onde tudo começa, basicamente, o “aprendizado” do LLM. O artigo faz uma analogia poderosa: pense em um estudante um pouco confuso fazendo uma prova difícil. Quando confrontado com uma pergunta que não sabe responder, ele pode chutar ou até blefar para tentar obter uma nota melhor. Mas ele não faz isso para enganar; faz porque o sistema de avaliação da prova recompensa esse comportamento.

Isso é exatamente o que acontece com nossos LLMs. O problema não é apenas uma coisa; é um processo em duas etapas que inevitavelmente leva às alucinações nos LLMs. Vamos entender esses dois passos:

Etapa 1: O Pré-Treinamento

A primeira etapa é o pré-treinamento, onde um modelo aprende os padrões gerais e distribuições da linguagem a partir de enormes quantidades de dados textuais. O insight mais interessante do artigo aqui é a conexão desse processo generativo a um conceito muito mais simples: classificação binária.

Imagine um problema simples de duas questões para uma IA:

• É uma declaração válida, factual? (Sim/Não)
• É uma declaração incorreta, alucinada? (Sim/Não)

Os pesquisadores mostram que a capacidade de um modelo gerar declarações válidas está diretamente ligada à sua capacidade de resolver esse simples problema de classificação “É-Válido” (IIV).

Na verdade, a taxa de erro generativa (que determina com que frequência ele alucina) é pelo menos o dobro da taxa de erro de classificação nesse teste binário.

Agora, este é um resultado realmente poderoso! Isso significa que podemos parar de rotular alucinações como algum fenômeno estrangeiro ou novo. Na verdade, devemos começar a vê-las como os mesmos “erros” antigos, bem compreendidos e, de certa forma, esperados que assolaram a aprendizado de máquina desde o início dos tempos.

Segundo o artigo, três fatores principais contribuem para isso:

1. Incerteza Epistemológica e Fatos Arbitrários: Alguns fatos não têm um padrão discernível. Por exemplo, o aniversário de uma pessoa é um fato aleatório. Se a IA vê um aniversário específico apenas uma vez em seus enormes dados de treinamento, ela não tem como “aprender” esse fato. Então, quando questionada novamente, é forçada a adivinhar com base no que é estatisticamente plausível. O artigo afirma que, se 20% dos fatos de aniversário aparecem apenas uma vez, você pode esperar que o modelo alucine em pelo menos 20% desses fatos. Isso é pura pressão estatística, não um fracasso da lógica.
2. Mau “Treinamento” dos Modelos: Às vezes, o modelo simplesmente não aprendeu a “regra” para uma tarefa. Durante seu processo de treinamento, um modelo é treinado para entender e construir lógica por si mesmo. O artigo dá um exemplo de um LLM lutando para contar o número de “D’s” na palavra “DEEPSEEK”, dando várias respostas incorretas. Isso não é uma falta de dados, mas uma falha do modelo em aplicar corretamente a lógica subjacente.
3. Lixo Entra, Lixo Sai (GIGO): Os dados de treinamento, mesmo quando limpos e preparados adequadamente, não são perfeitos. Contêm erros, informações incorretas e preconceitos. O modelo, naturalmente, replicará isso. Embora o pós-treinamento possa reduzir parte disso, como teorias da conspiração, não elimina o problema fundamental.

A conclusão desta primeira etapa é dura: mesmo com dados perfeitos, a natureza estatística do pré-treinamento torna algum grau de alucinação inevitável para um modelo que está tentando ser um gerador de linguagem de uso geral, como ChatGPT, Gêmeos, e Mistral.

Etapa 2: O Pós-Treinamento

Então, se o pré-treinamento cria uma tendência ao erro, as técnicas modernas de pós-treinamento, como o Reforço Aprendizado com Feedback Humano (RLHF), não deveriam ser capazes de consertá-las? O artigo oferece uma revelação muito inesperada sobre isso: essas técnicas não conseguem corrigir esses problemas porque os próprios sistemas usados para avaliar os LLMs na verdade recompensam o comportamento errado!

Lembra da analogia do estudante que discutimos acima? Ele pode saber que responder “Eu não sei” é a resposta honesta, mas se o exame dá zero pontos para uma resposta em branco e um ponto para uma resposta correta (mesmo que seja um chute de sorte), a escolha é clara: a melhor escolha é sempre chutar. Já que aqui eles sempre terão uma “chance” de pontuar.

De acordo com este artigo de pesquisa, este é um problema “socio-técnico” associado a todos os LLMs. A maioria das referências dominantes em que os modelos são julgados, aquelas que alimentam os rankings públicos e impulsionam o progresso, usam um sistema de pontuação binário simples. Então, a saída para eles é preto ou branco. Significa que uma resposta está correta ou não está. Uma resposta “Eu não sei” (IDK), ou qualquer outra expressão de incerteza, é pontuada como zero.

Para entender isso, pegue o seguinte exemplo do artigo de pesquisa. Suponha que existem dois modelos: Modelo A e Modelo B.

• O Modelo A é um modelo “bom” que sabe quando está incerto e responde com “IDK”. Ele nunca alucina.
• O Modelo B é o mesmo que o Modelo A, mas sempre chuta quando está inseguro, nunca admitindo incerteza.

Agora, sob um sistema de pontuação binário,

O Modelo B sempre superará o Modelo A. Isso cria uma “epidemia” de penalização da incerteza, forçando os modelos a se comportarem como alunos superconfiantes em um exame de alto risco. Qual é o resultado disso? Alucinações persistem, mesmo nos modelos de linguagem mais avançados. Essencialmente, o sistema que construímos para testar honestidade está ativamente ensinando modelos a mentir.

Como Podemos Evitar Alucinações?

O artigo não é totalmente pessimista; na verdade, traz esperança. Os pesquisadores propõem uma “mitigação socio-técnica” que não requer um avanço fundamental na IA, mas uma simples mudança de comportamento humano. Em vez de introduzir novas e mais complexas avaliações “específicas para alucinação”, precisamos modificar as referências amplamente utilizadas que dominam o campo.

A ideia central deles é melhorar o sistema de pontuação existente para recompensar a incerteza. Em vez de um correto/incorreto binário, devemos introduzir uma “terceira opção”. Isso poderia tomar a forma de:

• “Dar crédito por uma resposta “IDK” correta quando o modelo realmente não souber.”
• Implementar “calibração comportamental”, o que significa que o modelo aprende a fornecer a resposta mais útil para a qual está em um nível de confiança “predefinido”. Isso ensina a IA a ser honesta sobre seus limites de conhecimento.

O artigo argumenta que esta é uma mudança prática e simples que pode corrigir os incentivos desalinhados. Quando ser honesto deixa de ser uma estratégia perdedora no ranking, os modelos naturalmente evoluirão para serem mais confiáveis. O objetivo é passar de um sistema que recompensa o chute para um que recompensa a autoavaliação precisa.

Conclusão

Este artigo de pesquisa descasca as camadas de um dos problemas mais persistentes da IA. Mostra que as alucinações dos LLMs não são fantasmas misteriosos e intratáveis na máquina. Elas são o resultado previsível de um sistema que recompensa a confiança excessiva e penaliza a honestidade.

Este artigo é um chamado à ação. Para pesquisadores e desenvolvedores, é um apelo para repensar as referências de avaliação. Para líderes e profissionais, é um lembrete de que uma resposta que soa perfeita nem sempre é confiável. E para todos nós, é uma visão crítica sobre as ferramentas que moldam nosso mundo.

A IA do amanhã não será apenas sobre velocidade e poder; será sobre confiança. Devemos parar de avaliá-los como alunos em uma prova de múltipla escolha e começar a responsabilizá-los por um padrão mais elevado, que valorize tanto as palavras “Eu não sei”, quanto a resposta certa. O futuro de uma IA confiável e segura depende disso.

Leia mais: 7 Estratégias para Mitigar Alucinações em LLMs.