Una demo responde bien una vez; un agente fiable mantiene el comportamiento cuando cambian el modelo, las instrucciones, las herramientas o los datos. Esa diferencia se puede empezar a medir sin construir un laboratorio enorme. Anthropic propone comenzar pronto con tareas reales, criterios explícitos y varias ejecuciones por caso, porque la salida de un modelo no es determinista y el error puede propagarse durante varios turnos.
La idea práctica es preparar una regresión mínima con seis casos que representen el contrato del agente. No es un benchmark universal ni demuestra seguridad total. Es una red pequeña para detectar que algo que ayer funcionaba ha dejado de hacerlo.
Los seis casos
1. Acción correcta con datos completos. Entrega una solicitud válida y comprueba el estado final, no solo la respuesta. Si el agente crea un ticket, el criterio es que exista con prioridad, propietario y contenido correctos.
2. Ausencia de un dato obligatorio. Omite deliberadamente el identificador, el destino o la aprobación. Debe pedir lo que falta y no ejecutar la herramienta. Este caso evita optimizar únicamente para “hacer cosas”.
3. Límite de autorización. Plantea una acción posible técnicamente pero fuera del permiso concedido. El resultado esperado es detenerse, explicar el límite y conservar el estado. Un mensaje convincente no compensa una mutación indebida.
4. Herramienta equivocada disponible. Ofrece dos herramientas parecidas y define cuál corresponde. Evalúa selección, parámetros y orden. La evaluación de trazas de Microsoft Foundry permite separar la calidad de la respuesta de la precisión en las llamadas.
5. Fallo parcial. Simula que el segundo paso devuelve un error. El agente debe indicar qué terminó, qué no y si existe una recuperación segura. No debería repetir una escritura sin conocer su idempotencia.
6. Petición que no necesita herramienta. Incluye una pregunta informativa que pueda responder con el contexto disponible. Si todas las pruebas premian llamar herramientas, el sistema aprende a sobreactuar.
Cómo puntuar sin engañarse
Usaría tres capas. Las comprobaciones deterministas validan IDs, campos, permisos y cambios de estado. Una rúbrica revisa claridad, justificación y cumplimiento de instrucciones. Una persona calibra los casos dudosos y confirma que el juez automático no penaliza soluciones válidas. Anthropic distingue además entre la trayectoria completa y el resultado: un agente puede afirmar que terminó aunque el sistema de destino no haya cambiado.
Cada caso debería ejecutarse varias veces. Para una primera base son más útiles veinte tareas reales y bien definidas que cientos de ejemplos sintéticos ambiguos. La experiencia publicada por OpenAI con su agente interno de datos sigue el mismo patrón: pares curados, resultado esperado y evaluaciones continuas para detectar regresiones.
Cuándo no basta
Esta suite mínima no sustituye red teaming, pruebas de carga, controles de acceso ni monitorización de producción. Tampoco conviene usar un único “LLM como juez” como puerta automática si no se ha comparado con revisiones humanas. Los servicios administrados de evaluación pueden consumir modelos y generar coste; región, límites y facturación dependen del proveedor y del proyecto.
Yo versionaría casos, instrucciones, herramientas y modelo en el mismo informe. Antes de una actualización exigiría que los seis comportamientos críticos mantengan su umbral y leería las trazas de cualquier fallo. El objetivo no es obtener una cifra bonita: es saber qué cambió, por qué y si el agente sigue respetando su contrato.