IA
Meus agentes de IA passaram 207 horas cochilando
Em 30 dias, meus agentes ficaram parados mais de 5 minutos 600 vezes. 357 delas eram um sleep perguntando "já acabou?". E cada pergunta custava reler um livro inteiro.
Eu uso agente de IA pra quase tudo: rodar teste, revisar PR e até construir o meu MMO. Um dia fui medir quanto isso custa de verdade e achei um número ridículo.
Em 30 dias, os subagentes ficaram parados por mais de 5 minutos 600 vezes. Somando, umas 207 horas. Quase nove dias de agente olhando pro teto.
E 357 dessas pausas eram a mesma coisa: sleep, depois ler um arquivo pra ver se o comando terminou. De novo. E de novo.
O estagiário que pergunta "já acabou?"
Imagina um estagiário esperando um build. A cada minuto ele vai até a sua mesa e pergunta se já terminou. Chato, mas barato.
Agora imagina que, antes de cada pergunta, ele relê do zero todos os documentos do projeto. Todos.
É assim que um modelo de linguagem funciona. Cada vez que o agente "volta", ele relê o contexto inteiro da conversa. Uma sessão típica minha carrega entre 350 e 480 mil tokens de contexto, e as mais longas passam de 800 mil.
Tem cache, e ele funciona muito bem: uns 98% de acerto. Mas o cache dura 5 minutos. O agente que cochila 6 minutos acorda sem cache e paga a releitura inteira com preço cheio.
Ou seja: toda vez que acordava, o agente pagava a conta inteira de novo.
O que eu mudei
- Comando longo roda em segundo plano, e o agente é avisado quando termina. Ninguém fica perguntando.
- Toda espera tem prazo: o dobro do tempo esperado, ou 30 minutos se ninguém sabe. Passou disso, o agente para e me mostra as últimas linhas do log.
- Subagente não espera nada longo. Ele dispara o job, devolve onde está o log e encerra. Quem espera é a sessão principal.
- Falhou igual duas vezes? Para e me chama. Nada de tentar em loop.
O que eu aprendi
O custo de um agente não é o tamanho da resposta. É quantas vezes ele volta, vezes o tamanho do que ele precisa reler.
Um agente que pergunta menos e espera direito sai mais barato do que um modelo barato perguntando o tempo todo.
E agora eu tenho um script que mede isso por projeto. Porque achismo sobre custo de IA eu já tive bastante.