Caso de estudio

flow-watcher

Monitorización multi-motor de plataformas de datos, con SLO, detección de anomalías y lineage.

Código público pendiente: el repositorio se publicará cuando concluya la revisión de propiedad y saneamiento.

El problema

Las plataformas de datos pueden fallar en silencio: una ejecución ausente no siempre genera un error capaz de activar una alerta.

Decisiones

  • Conectores como plugins, para añadir un motor sin modificar el núcleo
  • SLO explícitos por origen en lugar de umbrales globales
  • Exportador Prometheus en vez de un panel propio

Arquitectura

Núcleo en Python con conectores para motores de datos y servicios de infraestructura, módulos de detección de anomalías, SLO, lineage y schema drift, exportador Prometheus y servidor MCP.

Resultados

  • Unifica la monitorización de motores distintos mediante una interfaz común de conectores
  • Detecta schema drift y ausencia de ejecución, no solo errores explícitos