Activación de la disponibilidad de OneLake para un centro de eventos

Puede crear una copia lógica de los datos de base de datos de KQL en un centro de eventos activando disponibilidad de OneLake. Al activar OneLake availability, puede consultar los datos en la base de datos de KQL en formato Delta Lake a través de otros motores de Fabric, como el modo Direct Lake en Power BI, Warehouse, Lakehouse, Notebooks, etc. Delta Lake es el formato unificado de tabla de Data Lake que hace posible el acceso directo a los datos en todos los motores de proceso de Fabric.

En este artículo, aprenderá a activar la disponibilidad de los datos de base de datos KQL en OneLake.

Cuando la disponibilidad de OneLake y la sincronización de esquemas están habilitadas, también puede usar Analizar datos con>el punto de conexión SQL en el nivel de la base de datos para consultar la representación de Delta Lake en tiempo casi real a través de motores basados en SQL.

Cuando están habilitadas la disponibilidad de OneLake y la sincronización de esquemas, también puede usar Analizar datos con>punto de conexión SQL en el nivel de la base de datos para consultar la representación de Delta Lake en tiempo casi real mediante motores basados en SQL.

Funcionamiento de la disponibilidad de OneLake para bases de datos KQL

Puede activar la disponibilidad de OneLake en el nivel de base de datos o tabla. Cuando se habilita en el nivel de base de datos, todas las tablas nuevas y sus datos están disponibles en OneLake. Al activar la característica, también puede optar por aplicar esta opción a las tablas existentes seleccionando la opción Aplicar a las tablas existentes para incluir reposición histórica. Al activar en el nivel de tabla, solo esa tabla y sus datos estarán disponibles en OneLake. La directiva de retención de datos de la base de datos KQL también se aplica a los datos de OneLake. Los datos eliminados de la base de datos de KQL al final del período de retención también son eliminados de OneLake. Si desactiva la disponibilidad de OneLake, los datos se eliminan temporalmente de OneLake.

La sincronización de esquemas de back-end mantiene la representación de Delta Lake alineada con la base de datos KQL, lo que permite realizar consultas casi en tiempo real a través del punto de conexión y los cuadernos de SQL. Para conocer el comportamiento esperado de latencia y procesamiento por lotes, consulte Comportamiento adaptable.

Aunque la disponibilidad de OneLake () está activada, no puede realizar las siguientes tareas:

• Cambie el nombre de las tablas.
• Modificar un tipo de columna. Se admite la adición o eliminación de una columna.
• Aplique seguridad de nivel de fila a las tablas.
• Eliminar, truncar o purgar datos.

Si necesita realizar alguna de estas tareas, siga estos pasos:

1. Desactive la disponibilidad de OneLake.
2. Realice la tarea.
3. Active la disponibilidad de OneLake.

Requisitos previos

• Un área de trabajo con una capacidad habilitada para Fabric.
• Una base de datos de KQL con permisos de edición y datos.

Activar la disponibilidad de OneLake para una base de datos o tabla de KQL

Puede activar la disponibilidad de OneLake para una base de datos o una tabla de KQL.

1. Seleccione una base de datos o una tabla.

2. En la sección OneLake del panel de detalles, establezca Disponibilidad en Habilitado.

   

3. En la ventana Habilitar disponibilidad de OneLake , seleccione Habilitar.

   

4. Los detalles de la base de datos o de la tabla se actualizan automáticamente.

   

Al activar la disponibilidad de OneLake en la base de datos o tabla de KQL, puede acceder a todos los datos en la ruta de acceso de OneLake dada en formato Delta Lake. También puedes crear un acceso directo de OneLake desde un lakehouse o un almacén de datos, o consultar los datos directamente mediante el modo Direct Lake de Power BI. Con la disponibilidad de OneLake una vez activada en su base de datos o tabla KQL, ahora puede acceder a todos los datos en la ruta especificada de OneLake en formato Delta Lake. También puede crear un acceso directo de OneLake desde un Lakehouse, un almacén de datos o consultar directamente los datos mediante el modo Direct Lake de Power BI.

Uso con Análisis de datos con opciones

Cuando la disponibilidad de OneLake está habilitada, los elementos de base de datos de Eventhouse y KQL exponen Analizar datos con opciones en el nivel de base de datos:

• Punto de conexión de SQL: disponible cuando se habilita la sincronización de esquemas y la disponibilidad de OneLake .
• Cuaderno: abre el análisis basado en cuadernos para la base de datos seleccionada.

Si desactiva la disponibilidad de OneLake, la opción extremo de SQL se elimina de este menú hasta que vuelva a habilitarla.

Comportamiento adaptativo para el procesamiento por lotes de archivos Parquet

Un centro de eventos agrupa de forma inteligente los flujos de datos entrantes en uno o varios archivos Parquet estructurados para su análisis. Agrupar flujos de datos en lotes es importante cuando se trabaja con datos que llegan de forma gradual, porque escribir muchos archivos Parquet pequeños en el data lake puede ser ineficiente. Esta ineficiencia da como resultado mayores costos y un rendimiento deficiente de las consultas.

El mecanismo adaptativo de eventhouse puede retrasar las operaciones de escritura en OneLake si no hay suficientes datos para crear archivos Parquet óptimos. Este comportamiento garantiza que los archivos Parquet sean óptimos en tamaño y se adhieren a los procedimientos recomendados de Delta Lake. Equilibra la necesidad de disponer rápidamente de los datos con las consideraciones de coste y rendimiento.

Latencia de escritura predeterminada y configurable para la disponibilidad de OneLake:

Por ejemplo, use el siguiente comando de Kusto para establecer el retraso de escritura en 5 minutos para una sola tabla:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

Puede supervisar hace cuánto tiempo se agregaron nuevos datos en el lago comprobando la latencia de los datos mediante el .show table mirroring operations comando .

Los resultados se miden a partir de la última vez que se agregaron los datos. Cuando la latencia devuelve 00:00:00, todos los datos de la base de datos KQL están disponibles en OneLake.

Ver archivos de Delta Lake en OneLake

Al activar la disponibilidad de OneLake en una tabla, el proceso crea una carpeta de registro delta junto con los archivos JSON y Parquet correspondientes. Puede ver los archivos disponibles en OneLake y sus propiedades sin salir de Real-Time Intelligence.

• Para visualizar los archivos, coloque el cursor sobre una tabla en el panel Explorador y seleccione el menú Más [...]>Ver archivos.

  

• Para visualizar las propiedades de la carpeta de registro delta o los archivos individuales, coloque el cursor sobre la carpeta o el archivo y, a continuación, seleccione el menú Más [...]>Propiedades.

• Para visualizar los archivos de la carpeta de registro delta:

  1. Seleccione la carpeta _delta_log.
  2. Seleccione un archivo para ver los metadatos y el esquema de la tabla. El editor que se abre está en formato de solo lectura.

Acceso a la directiva de creación de reflejo de OneLake

De forma predeterminada, al activar la disponibilidad de OneLake para una base de datos o tabla de KQL, el sistema habilita una directiva de creación de reflejo. Puede usar la directiva de creación de reflejo para supervisar la latencia de datos o modificarla para crear particiones de tablas delta.

Particionar tablas delta en OneLake

Puede crear particiones de las tablas delta para mejorar la velocidad de las consultas. Para obtener información sobre cuándo crear particiones de los archivos de OneLake, consulte Cuándo crear particiones de tablas. Cada partición se representa como una columna independiente mediante el elemento PartitionName enumerado en la Partitions lista. Esta representación significa que la copia de OneLake tiene más columnas que la tabla de origen.

Para particionar las tablas delta, use el .alter-merge table policy mirroring comando .

Consulta de tablas delta desde un cuaderno de Fabric

Puede usar Fabric Notebook para leer los datos de OneLake mediante el siguiente fragmento de código.

En el fragmento de código, reemplace <workspaceGuid>, <workspaceGuid>y <tableName> por sus propios valores.

delta_table_path = 'abfss://<workspaceGuid>@onelake.dfs.fabric.microsoft.com/<eventhouseGuid>/Tables/<tableName>'

df = spark.read.format("delta").load(delta_table_path)

df.show()

delta_table_path = 'abfss://<workspaceName>@onelake.dfs.fabric.microsoft.com/<itemName>.KustoDatabase/Tables/<tableName>'

Contenido relacionado

• ¿Qué es Delta Lake?
• Crear un acceso directo en OneLake
• ¿Qué son los accesos directos en lakehouse?
• Creación de un acceso directo de OneLake en la base de datos de KQL