Supervisión de canalizaciones

Supervise las canalizaciones declarativas de Spark de Lakeflow mediante la interfaz de usuario de canalización integrada, el registro de eventos, el historial de consultas y los enlaces de eventos personalizados. Estas características realizan un seguimiento del progreso de la actualización, la calidad de los datos, el linaje y las métricas de streaming.

Tema Description
Supervisión mediante la interfaz de usuario Observe el progreso y el estado de las actualizaciones de la canalización y alerte sobre el éxito o error. Vea las métricas de orígenes de streaming, como Apache Kafka y Auto Loader.
Registro de eventos Extraiga información detallada sobre las actualizaciones de canalización, como el linaje de datos, las métricas de calidad de datos y el uso de recursos mediante el registro de eventos de canalización.
Además, consulte el esquema del registro de eventos.
Historial de consultas Inspeccione y diagnostique el rendimiento de las consultas examinando el historial de consultas.
Supervisión personalizada Defina acciones personalizadas para realizar cuando se produzcan eventos específicos mediante enlaces de eventos.

Además, hay temas de solución de problemas para escenarios específicos.

Tema Description
Recuperar una tubería de un fallo de punto de control de streaming Recupere una canalización que tenga un punto de control de transmisión no válido o dañado.
Corrección de tiempos de inicialización elevados en canalizaciones Corrija los tiempos de inicialización elevados para una canalización dividiendo y equilibrando la carga de los flujos entre canalizaciones.
  • Last updated on