Assistentes de inteligência artificial quase sempre respondem, mesmo quando não sabem a resposta. Esse comportamento, chamado de alucinação, é um dos problemas mais persistentes da tecnologia, conforme reportagem da Exame.
A publicação destaca que modelos de IA inventam dados, citações e fontes com a mesma segurança com que apresentam fatos verdadeiros. Um estudo recente citado pela Exame encontrou casos em que decisões judiciais inteiras foram inventadas, atribuídas a processos que nunca existiram.
O que é alucinação em inteligência artificial?
Alucinação é o fenômeno em que um modelo de IA responde a uma pergunta mesmo quando não tem a resposta correta. Em vez de admitir que não sabe, o sistema gera uma resposta plausível, mas falsa.
Quais são os riscos das alucinações?
Os riscos incluem a disseminação de informações incorretas e a criação de referências fictícias, como dados, citações e fontes que parecem verdadeiras. O exemplo das decisões judiciais inventadas citado pela Exame mostra o potencial de dano em áreas críticas.
Na IA365, desenvolvemos agentes de IA para WhatsApp, ERP comercial e automação de processos, e acompanhamos de perto o desafio das alucinações, pois precisão é essencial em aplicações empresariais.