Um sistema de agentes de inteligência artificial, configurado para resolver tarefas automaticamente chamando ferramentas externas em sequência, entrou em um padrão de repetição que ninguém percebeu a tempo. O agente tentava a mesma ação, recebia o mesmo tipo de erro, tentava novamente, e assim seguia, silenciosamente, consumindo chamadas de modelo até gerar uma fatura de quarenta e sete mil dólares em uma única noite.
Rolando Bonaccorsi, líder em IA e ciência de dados aplicadas a negócios e operações, observa que esse tipo de incidente, cada vez mais comum à medida que sistemas de agentes autônomos se espalham por operações reais, revela uma lacuna que a engenharia tradicional já havia resolvido décadas atrás para outros tipos de sistema, mas que o mundo de agentes de IA ainda não incorporou como prática padrão.
Um agente que não sabia que estava preso em loop
O comportamento problemático não surgiu de um bug óbvio, chamativo, fácil de detectar. O agente simplesmente não tinha nenhum mecanismo interno capaz de reconhecer que estava repetindo a mesma tentativa fracassada indefinidamente, sem qualquer progresso real em direção à tarefa original que deveria resolver.
Frameworks populares de construção de agentes de IA costumam oferecer lógica de repetição automática, roteamento entre ferramentas e gerenciamento de memória, mas raramente incluem, por padrão, uma camada específica dedicada a identificar quando o próprio agente está preso em um padrão repetitivo sem saída, disparando chamada após chamada sem qualquer critério de interrupção definido.
Reproduzir esse tipo de falha em ambiente controlado, depois do ocorrido, revelou algo desconfortável: bastam poucas condições específicas, replicáveis por qualquer equipe que ainda não tenha implementado proteção equivalente, para que o mesmo padrão de loop se repita em qualquer outro sistema de agentes construído sem essa camada de segurança.
Por que o painel de custo avisou tarde demais?
Sistemas de faturamento em nuvem são construídos para cobrar com precisão, não para alertar em tempo real. O consumo é medido continuamente, mas a visibilidade completa só aparece depois, muitas vezes com atraso de um ou dois dias, tempo suficiente para que um problema pequeno se transforme em prejuízo significativo antes que alguém sequer perceba.
Rolando Bonaccorsi destaca que essa defasagem é justamente o que torna esse tipo de incidente tão perigoso: um sistema de detecção de anomalia de custo, mesmo bem configurado, tende a disparar alerta somente depois que o padrão anômalo já se sustentou por horas, quando boa parte do dano financeiro já está consolidado na fatura final do período.
A solução não é olhar mais, é travar antes
Depender exclusivamente de monitoramento reativo para pegar esse tipo de problema é, na prática, aceitar que uma parte do prejuízo sempre vai acontecer antes de qualquer alerta chegar a alguém capaz de agir. A alternativa mais eficaz é incorporar limites automáticos diretamente no código, capazes de interromper a execução antes que o painel de custo precise disparar qualquer aviso.
Rolando Bonaccorsi cita mecanismos já bem estabelecidos em sistemas distribuídos tradicionais, como limite de tentativas, orçamento máximo de chamadas por tarefa e interrupção automática diante de padrões repetitivos, como soluções diretamente aplicáveis a agentes de IA, mesmo que a maioria dos frameworks atuais ainda não os inclua como configuração padrão de fábrica.
A analogia com disjuntores elétricos ajuda a entender o princípio: um disjuntor não espera a casa pegar fogo para desligar a energia, ele interrompe o circuito no primeiro sinal de sobrecarga. Agentes de IA em produção precisam do equivalente digital desse mesmo princípio, agindo automaticamente antes que qualquer painel de monitoramento humano tenha chance de perceber o problema.
O que isso ensina sobre qualquer sistema automatizado?
O incidente não aconteceu por engenharia descuidada no sentido tradicional, mas por uma lacuna estrutural: a suposição implícita de que o próprio agente perceberia que estava preso em loop e pararia sozinho, uma suposição que os fatos simplesmente não confirmaram na prática real de produção.
Tal como conclui Rolando Bonaccorsi, qualquer sistema que age de forma autônoma, tomando decisões e executando ações sem intervenção humana constante, precisa de limites explícitos de segurança embutidos desde o design inicial, não adicionados depois que o primeiro incidente caro já aconteceu e já ensinou, da forma mais custosa possível, a lição que deveria ter sido antecipada.
