|Jorge Alcañiz
Cómo monitorizar LLMs en producción
Monitorizar LLMs en producción exige logs, métricas, trazas, decisiones de routing, reintentos, aprobaciones y visibilidad de coste.
Registrar llamadas al modelo no es suficiente. Cuando sube el coste o baja la calidad, necesitas saber qué workflow, versión, ruta y usuario están detrás.
Niveles de observabilidad
- Logs de llamadas: qué entró y qué salió.
- Métricas: tokens, latencia, errores y coste.
- Trazas: cada paso del workflow y sus dependencias.
- Decisiones: routing, fallback, reintentos y gates humanos.
- Aprendizaje: correcciones que alimentan prompts, datasets y evaluaciones.
La observabilidad útil cuenta la historia completa de ejecución, no solo la respuesta del modelo.