Taxa de Correção

A Taxa de Correção acompanha a frequência com que a intervenção humana é necessária durante a execução do agente. É calculada como:

Intervenções humanas / Total de tarefas concluídas pelo agente

Cada vez que um operador precisa intervir — seja através de uma Missão de Resgate, uma correção manual de código ou uma clarificação de especificação no meio da tarefa — isso conta como uma intervenção. O denominador inclui todas as tarefas que chegam à conclusão, independentemente de terem exigido correções ao longo do caminho.

A taxa se enquadra em três faixas interpretativas:

1. Baixa (abaixo de 0,1) — o agente completa mais de 90% das tarefas sem correção humana. Isso indica uma engenharia de contexto eficaz, Specs Ativas de alta qualidade e um Eval Harness bem ajustado.
2. Moderada (0,1 a 0,3) — normal para trabalhos complexos ou inovadores onde alguma ambiguidade é inevitável. As equipes devem esperar essa faixa quando os agentes estão trabalhando em bases de código desconhecidas ou tarefas com especificações incompletas.
3. Alta (acima de 0,3) — mais de 30% das tarefas exigem correção humana, indicando um problema sistêmico de contexto. As causas raízes comuns incluem Amostras Modelo desatualizadas, critérios de aceitação ambíguos nas especificações ou documentação arquitetônica insuficiente no Índice de Contexto.

O uso mais acionável da Taxa de Correção é rastreá-la por tipo de tarefa, em vez de um único número agregado. Uma equipe pode ter uma taxa geral baixa, mas uma taxa alta especificamente para tarefas de migração de banco de dados, o que indicaria que o contexto para essa categoria de tarefa precisa de enriquecimento. Essa quebra por tipo isola lacunas de contexto específicas em vez de mascará-las em uma média.

A Taxa de Correção complementa a Taxa de Alavancagem do Operador: uma Taxa de Correção crescente explica por que a Taxa de Alavancagem do Operador não está melhorando, pois os operadores estão gastando seu tempo corrigindo em vez de supervisionando.