IA e Automação · 4 min · por Bruno Gomes
Alucinações de IA: avaliação antes dos guardrails
Resposta rápida
Controlar alucinações exige definir o que conta como resposta correta, testar situações representativas e restringir o que o sistema pode afirmar ou executar. Guardrails são camadas de prevenção e contenção, não garantias de verdade. A avaliação precisa acompanhar mudanças de modelo, instruções, fontes e ferramentas durante toda a operação.
Transforme “responder bem” em critérios observáveis
Separe correção factual, apoio nas fontes, completude e cumprimento de política. Uma resposta pode estar de acordo com um documento e ainda estar errada se esse documento estiver desatualizado. Também pode ser verdadeira, mas não sustentada pelo material autorizado para aquela aplicação. Cada dimensão pede uma verificação diferente.
Imagine um assistente comercial que responde sobre condições de garantia de equipamentos. Defina quais afirmações exigem fonte, qual versão da política vale e quando o atendimento deve ser transferido. O perfil de IA generativa do NIST trata riscos como confabulação no contexto de gestão contínua. A empresa precisa traduzir esse enquadramento para o dano concreto que uma promessa indevida pode causar ao cliente.
Monte um conjunto de testes com lacunas reais
Reúna perguntas frequentes, casos ambíguos, situações fora do escopo e pedidos cuja resposta não consta das fontes. Anonimize exemplos e evite trazer dados pessoais desnecessários para o ambiente de avaliação. Para cada caso, registre evidências esperadas, fatos proibidos e comportamento aceitável quando a informação estiver ausente.
No exemplo hipotético, inclua um modelo de equipamento recém-lançado sem política cadastrada. A resposta correta não é adaptar a garantia de outro produto; é reconhecer a falta e encaminhar a consulta. Acrescente perguntas com premissas falsas e instruções para ignorar regras. Separe parte dos testes usados no desenvolvimento de casos reservados para avaliação, reduzindo a adaptação excessiva ao conjunto conhecido.
Combine avaliação automática e revisão especializada
Ferramentas automáticas podem verificar formato, presença de campos e determinadas dimensões de qualidade. Avaliadores de RAG, como os documentados pela Microsoft, ajudam a examinar fundamentação e relevância em cenários compatíveis. Seus resultados precisam ser interpretados com o conjunto de dados e as limitações do método, não como certificação universal de veracidade.
Use especialistas para revisar amostras, especialmente nos casos de maior consequência. Registre divergências entre avaliadores e refine o critério antes de comparar versões. Não dependa apenas de outro modelo julgando o primeiro: os dois podem compartilhar fragilidades. Separe falha de recuperação, interpretação errada da fonte e afirmação inventada, porque corrigir um prompt não resolve necessariamente um problema no acervo.
Aplique barreiras no ponto de risco
Valide entradas, controle fontes e trate conteúdo recuperado como dado, não como instrução confiável. Na saída, exija evidências para afirmações sensíveis e recuse compromissos que não possam ser comprovados. Quando houver ferramentas, verifique permissões e parâmetros no código antes da execução. Um aviso no prompt não substitui controle de acesso.
Para o assistente de garantia, restrinja a consulta a políticas aprovadas e exiba a versão utilizada. Se a recuperação não trouxer base suficiente, permita abstenção ou transferência. Não use a confiança declarada pelo próprio modelo como único sinal para liberar resposta. Sistemas podem demonstrar segurança linguística mesmo quando inventam; a barreira deve depender de condições verificáveis e do risco da ação.
Crie um ciclo de liberação e incidente
Antes de publicar uma mudança, execute novamente os testes e compare os tipos de falha, não apenas uma nota agregada. Defina critérios de bloqueio ligados à consequência: uma promessa comercial indevida pode impedir a liberação mesmo quando outras respostas melhoraram. Documente versão do modelo, instruções, índice e configurações relevantes para reproduzir o resultado.
Na operação, ofereça um canal para contestação e preserve registros necessários à investigação com proteção adequada. Quando surgir um erro, corrija a causa e acrescente um teste de regressão. Estabeleça quem pode suspender o sistema e como o atendimento continuará. Guardrails úteis limitam danos e tornam falhas detectáveis; não eliminam a responsabilidade de acompanhar o comportamento após o lançamento.
Perguntas frequentes
Pedir para a IA não inventar resolve?
Ajuda a expressar a regra, mas não garante cumprimento. Combine instruções com fontes controladas, testes, validações externas e caminhos de abstenção ou revisão.
Qual taxa de erro é aceitável?
Não existe um valor universal. O limite deve refletir impacto, reversibilidade e contexto de uso. Separe falhas por gravidade e estabeleça critérios antes de avaliar uma versão.
Material gratuito
Baixar o diagnóstico gratuito
Encontre em 60 minutos a parte da empresa que está travando a sua tração e comece um plano de 7 dias para destravar.