Tasa de Violación Arquitectónica
La métrica que rastrea la frecuencia con la que el código generado por agentes intenta violar los límites de dominio, las reglas de dependencia o las restricciones estructurales.
Definición
La Tasa de Violación Arquitectónica rastrea la frecuencia con la que el código generado por agentes intenta violar los límites de dominio, las reglas de dependencia o las restricciones estructurales definidas por el Principal Systems Architect. Se calcula como:
Fallos en pruebas de arquitectura / Total de PR de agentes enviados
Las pruebas de arquitectura verifican propiedades estructurales: dirección de dependencia entre módulos, cumplimiento de los límites de capa, adherencia a las convenciones de nomenclatura y conformidad del contrato de la API. Estas pruebas se ejecutan como parte del Eval Harness antes de que la salida del agente llegue a la revisión humana, detectando violaciones de manera temprana en el pipeline.
La tasa se divide en tres rangos interpretativos:
- Por debajo de 0.05 — las restricciones están bien definidas y los agentes producen código estructuralmente sólido de manera consistente. Los Golden Samples y la documentación arquitectónica en el Context Index están guiando eficazmente el comportamiento de los agentes.
- 0.05 a 0.15 — tasa de violación moderada que indica que algunas restricciones no están claras o falta contexto. Las causas comunes incluyen reglas arquitectónicas recién introducidas que aún no se han reflejado en los Golden Samples, o límites de dominio que son ambiguos en la documentación. Actualice las muestras relevantes y las definiciones de las restricciones.
- Por encima de 0.15 — problema sistémico. Los agentes producen regularmente código que viola las reglas estructurales, lo que indica que las restricciones arquitectónicas no están llegando a los agentes a través de los Context Packets, o que las restricciones en sí son inconsistentes con la estructura real de la base de código. Esto requiere una Auditoría de Límites enfocada para realinear las reglas con la realidad.
La Tasa de Violación Arquitectónica complementa el Pattern Consistency Score: la tasa de violación mide los fallos en restricciones estrictas (código que rompe las reglas), mientras que el puntaje de consistencia mide la adherencia laxa (código que sigue patrones). Una tasa de violación baja con un puntaje de consistencia bajo indica que los agentes están respetando los límites pero no siguiendo las convenciones de estilo; un problema de calidad de los Golden Samples más que un problema de reglas arquitectónicas.
Esta métrica se revisa durante la Boundary Audit mensual y se rastrea en el AgentOps Dashboard.