Acceso a vistas materializadas y tablas de streaming mediante sistemas externos

De forma predeterminada, las vistas materializadas y las tablas de streaming no están disponibles para acceder desde sistemas externos. Azure Databricks ofrece dos funciones que le permiten poner sus conjuntos de datos a disposición de los clientes de Delta Lake o Iceberg:

  • Acceso a datos externos (versión preliminar pública): al habilitar el acceso a datos externos para conjuntos de datos de canalización, se crea una copia de los metadatos del conjunto de datos que permite a los clientes usar el catálogo de Unity o las API REST de Cosmos, sin necesidad de una copia de datos completa o una programación de actualización independiente. Los clientes deben usar las API REST del catálogo y admitir Delta 4.0.0 o superior, o bien la especificación Iceberg v3.

    Para más información sobre el acceso a datos externos para conjuntos de datos de canalización, consulte Habilitación del acceso a datos externos a tablas de streaming y vistas materializadas.

  • Modo de compatibilidad (versión preliminar pública): habilitar el modo de compatibilidad para un conjunto de datos genera una versión de solo lectura de los datos en una ubicación elegida, que se debe actualizar cuando se actualizan las tablas. La versión de compatibilidad incluye metadatos v1 tanto para los formatos Delta Lake como Iceberg, junto con una copia de solo lectura de los datos, lo que permite que una gama más amplia de clientes acceda a ellos (incluidos los clientes que deben leer los datos de la tabla directamente, en lugar de hacerlo a través de una API), a costa de introducir retrasos en las actualizaciones de los datos y de asumir los costes de copia de los datos.

    Para obtener más información sobre el modo de compatibilidad, consulte Modo de compatibilidad.

Si los clientes externos admiten las API REST, Azure Databricks recomienda usar el acceso a datos externos para conceder a esos clientes acceso a vistas materializadas o tablas de streaming. Para una gama más amplia de clientes, especialmente clientes más antiguos y otras tablas administradas por el catálogo de Unity, use el modo de compatibilidad.

Capacidad Acceso a datos externos Modo de compatibilidad
Copia de datos No se requiere copia de datos. Se requiere copiar los datos.
Coherencia Coherencia de lectura después de escritura. Los clientes externos ven los cambios en cuanto se producen en el conjunto de datos. Las actualizaciones se producen según una programación. De forma predeterminada, la tabla de compatibilidad se actualiza cada hora. Se puede configurar para que se actualice inmediatamente después de un cambio en la tabla de origen, pero sigue habiendo un retraso debido al tiempo de copia de los datos.
Access Requiere acceso a la API REST "moderna". Admite las API de catálogo de Delta 4.0.0 o superior, o las API de la especificación Iceberg v3 (requiere compatibilidad con vectores de eliminación). Compatible con todos los clientes de Delta Lake o Iceberg.
Objeto de tabla única Las vistas materializadas y las tablas de streaming aparecen como tablas administradas con el mismo nombre que el conjunto de datos original para los clientes externos. Las tablas de compatibilidad aparecen como una nueva tabla en una nueva ubicación para los clientes externos.
Soporte para tipos de tabla Admite vistas materializadas y tablas de flujo administradas por las canalizaciones declarativas de Lakeflow Spark. Admite vistas materializadas y tablas de transmisión, ya sean administradas por las canalizaciones declarativas de Lakeflow para Spark o independientes, así como cualquier otra tabla administrada por Unity Catalog.
Cost El costo de mantener los metadatos orientados al exterior forma parte del costo de actualización de la vista materializada o la tabla de streaming. Esto suele ser inferior a 1% del costo y el tiempo de la actualización. La mayoría del costo del modo de compatibilidad es el costo de transferir los datos heredados a la nueva ubicación.

Recursos adicionales

  • Last updated on