La distancia entre una demo impresionante de un agente y un agente que corre tu onboarding durante seis meses sin supervisión es casi enteramente ingeniería, no calidad del modelo.
Acotá el espacio de acciones
Un agente que puede llamar cualquier herramienta eventualmente va a llamar la equivocada. Le damos a los agentes un conjunto acotado y tipado de acciones con precondiciones explícitas. El modelo decide qué acción y con qué argumentos; el sistema decide si esa acción está permitida ahora mismo.
Hacé cada paso observable y reversible
Cada paso del agente queda registrado con sus inputs, el razonamiento del modelo, la acción elegida y el resultado. Las acciones de alto impacto (mover dinero, escribirle a un cliente, escribir en un ERP) pasan por una cola con human-in-the-loop hasta que la confianza y el historial justifiquen automatizar.
Evaluá de forma continua
Tratamos a los agentes como cualquier otro servicio en producción: un dataset golden, evals de regresión en cada cambio de prompt o modelo, y alertas cuando la precisión deriva. Un agente que se degrada en silencio es peor que no tener agente.
Bien hecho, un agente saca el 80% repetitivo y deriva el 20% ambiguo a una persona, que es exactamente donde está el leverage.