Ratio de Corrección
La métrica que rastrea la frecuencia con la que se requiere intervención humana durante la ejecución del agente, calculada como intervenciones divididas por el total de tareas completadas.
Definición
El Ratio de Corrección rastrea la frecuencia con la que se requiere intervención humana durante la ejecución del agente. Se calcula como:
Intervenciones humanas / Total de tareas del agente completadas
Cada vez que un operador debe intervenir —ya sea a través de una Misión de Rescate, una corrección manual del código o una aclaración de la especificación a mitad de tarea— cuenta como una intervención. El denominador incluye todas las tareas que alcanzan la finalización, independientemente de si requirieron correcciones durante el proceso.
El ratio se clasifica en tres rangos interpretativos:
- Bajo (inferior a 0.1) — el agente completa más del 90% de las tareas sin corrección humana. Esto indica una ingeniería de contexto efectiva, Especificaciones en Vivo de alta calidad y un Eval Harness bien ajustado.
- Moderado (0.1 a 0.3) — normal para trabajos complejos o novedosos donde cierta ambigüedad es inevitable. Los equipos deben esperar este rango cuando los agentes trabajan en bases de código desconocidas o tareas con especificaciones incompletas.
- Alto (superior a 0.3) — más del 30% de las tareas requieren corrección humana, lo que indica un problema sistémico de contexto. Las causas fundamentales comunes incluyen Muestras Doradas obsoletas, criterios de aceptación ambiguos en las especificaciones o documentación arquitectónica insuficiente en el Context Index.
El uso más accionable del Ratio de Corrección es rastrearlo por tipo de tarea en lugar de como un número agregado único. Un equipo podría tener un ratio general bajo, pero un ratio alto específicamente para tareas de migración de bases de datos, lo que indicaría que el contexto para esa categoría de tarea necesita enriquecimiento. Este desglose por tipo aísla lagunas de contexto específicas en lugar de enmascararlas en un promedio.
El Ratio de Corrección complementa el Ratio de Apalancamiento del Operador: un Ratio de Corrección creciente explica por qué el Ratio de Apalancamiento del Operador no está mejorando, porque los operadores están dedicando su tiempo a corregir en lugar de supervisar.