Alucinação

Alucinação é um fenômeno onde um grande modelo de linguagem (LLM) gera texto que é fluente e confiante, mas factualmente incorreto, fabricado ou sem suporte de qualquer material de origem. O termo faz uma analogia com erros de percepção humana, embora em LLMs ele surja da conclusão de padrões estatísticos em vez de mau funcionamento sensorial.

As principais características da alucinação incluem:

1. Fabricação Confiante: As saídas alucinadas frequentemente parecem autoritárias e bem-estruturadas, tornando-as difíceis de serem detectadas por não-especialistas. O modelo apresenta fatos, citações ou estatísticas inventadas com a mesma fluência que informações precisas.

2. Tipos de Alucinação: Alucinações intrínsecas contradizem o material de origem fornecido, enquanto alucinações extrínsecas introduzem afirmações que não podem ser verificadas contra qualquer contexto dado. Ambas são problemáticas em sistemas de produção.

3. Causas Raiz: As alucinações derivam do objetivo de treinamento do modelo de prever os próximos tokens prováveis, em vez de verificar a verdade. Lacunas nos dados de treinamento, vieses de distribuição e prompts ambíguos aumentam as taxas de alucinação.

4. Estratégias de Mitigação: Abordagens comuns incluem a geração aumentada por recuperação (RAG) para fundamentar as respostas em documentos reais, prompt de cadeia de pensamento (chain-of-thought prompting), calibração de confiança e requisitos de citação que forçam o modelo a referenciar fontes.

5. Desafio de Avaliação: Detectar alucinações em escala permanece um problema de pesquisa em aberto. Ferramentas de detecção automatizadas existem, mas são imperfeitas, frequentemente exigindo revisão humana para aplicações de alto risco.