Databricks Runtime 11.3 LTS (EoS)

Las siguientes notas de la versión proporcionan información sobre Databricks Runtime 11.3 LTS, con tecnología de Apache Spark 3.3.0. Databricks publicó esta versión en octubre de 2022.

Cambios en el comportamiento

[Cambio importante] La nueva versión de Python requiere actualizar los clientes de Python de Databricks Connect V1

Para aplicar las revisiones de seguridad necesarias, la versión de Python en Databricks Runtime 11.3 LTS se actualiza de 3.9.5 a 3.9.19. Dado que estos cambios pueden provocar errores en los clientes que usan funciones específicas de PySpark, los clientes que usan Databricks Connect V1 para Python con Databricks Runtime 11.3 LTS deben actualizarse a Python 3.9.7 o posterior.

Nuevas características y mejoras

• Python actualizado de 3.9.19 a 3.9.21
• Desencadenador de Structured Streaming una vez en desuso
• Cambio de la ruta de acceso de origen para el cargador automático
• Ahora, el conector de Databricks Kinesis admite la lectura de flujos de Kinesis Data en modo EFO
• Nuevas funciones geoespaciales H3 y compatibilidad con Photon agregada para todas las funciones H3
• Nuevas características para E/S predictivas
• Aumento de las particiones iniciales para examinar consultas selectivas
• Visualización de las nuevas versiones del plan de AQE
• Nuevos modos de seguimiento de progreso asincrónico y purga de registros
• Structured Streaming en el catálogo de Unity ahora admite display()
• Los eventos de canalización ahora se registran en formato JSON
• procesamiento con estado arbitrario en Structured Streaming con Python
• Inferencia de fechas en los archivos CSV
• Compatibilidad de clonación con tablas de Apache Parquet y Apache Iceberg (versión preliminar pública)
• Uso de SQL para especificar ubicaciones de almacenamiento de nivel de catálogo y esquema para tablas administradas por el catálogo de Unity

Python actualizado de 3.9.19 a 3.9.21

La versión de Python de Databricks Runtime 11.3 LTS se actualiza de 3.9.19 a 3.9.21.

Desencadenador de Structured Streaming una vez en desuso

La configuración Trigger.Once está en desuso. Databricks recomienda usar Trigger.AvailableNow. Consulte Configurar intervalos del desencadenador de Structured Streaming.

Cambio de ruta de origen para Auto Loader

Ahora puede cambiar la ruta de acceso de entrada del directorio para el cargador automático configurado con el modo de lista de directorios sin tener que elegir un nuevo directorio de punto de control. Consulte Cambiar la ruta de acceso de origen para Auto Loader.

Ahora, el conector de Databricks Kinesis admite la lectura de flujos de Kinesis Data en modo EFO

Ahora puede usar el origen de flujo estructurado de Databricks Kinesis en Databricks Runtime 11.3 LTS para ejecutar consultas que leen desde flujos de Kinesis Data en modo de distribución ramificada mejorada. Esto permite el rendimiento dedicado por partición, por consumidor y la entrega de registros en modo de inserción.

Nuevas funciones geoespaciales H3 y compatibilidad con Photon agregada para todas las funciones H3

Presentación de cuatro nuevas funciones H3: h3_maxchild, h3_minchild, h3_pointash3 y h3_pointash3string. Estas funciones están disponibles en SQL, Scala y Python. Todas las expresiones H3 ahora se admiten en Photon. Consulte funciones geoespaciales H3

Nuevas características para E/S predictivas

Photon admite el "range mode" para ejecutar fotogramas, mediante RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon también soporta el modo de rango para marcos expansibles, mediante RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Incremento de las particiones iniciales para escanear consultas de manera selectiva

El valor de las particiones iniciales que se van a examinar ha aumentado a 10 para consultas selectivas con take/tail/limit en clústeres habilitados para Photon y LIMIT en Databricks SQL. Con 10 particiones, puede evitar la sobrecarga al iniciar varios trabajos pequeños y un escalado lento. También puede configurar esta opción mediante spark.sql.limit.selectiveInitialNumPartitions.

Visualización de las nuevas versiones del plan de AQE

Presentamos las versiones del plan de AQE, que le permiten visualizar las actualizaciones de su plan en tiempo de ejecución a partir de la ejecución adaptable de consultas (AQE).

Nuevos modos de seguimiento de progreso asincrónico y purga de registros

Introducción a los modos de Structured Streaming denominados seguimiento de progreso asincrónico y purga de registros asincrónica. El modo de purga de registros asincrónica reduce la latencia de las consultas de streaming mediante la eliminación de los registros usados para el seguimiento de progreso en segundo plano.

Structured Streaming en el catálogo de Unity ahora admite display()

Ahora puede usar display() cuando use Structured Streaming para trabajar con tablas registradas en el catálogo de Unity.

Los eventos de canalización ahora se registran en formato JSON

Azure Databricks ahora escribe eventos de canalización en el registro del controlador en formato JSON. Si bien cada evento será analizable mediante JSON, es posible que los eventos grandes no contengan todos los campos o que los campos estén truncados. Cada evento se registra en una sola línea con el prefijo Event received: . A continuación, se muestra un ejemplo de evento.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Procesamiento con estado arbitrario en streaming estructurado con Python

Introducción a la función applyInPandasWithState que se puede usar para realizar un procesamiento con estado arbitrario en PySpark. Esto equivale a la función flatMapGroupsWithState de la API de Java.

Inferencia de fechas en los archivos CSV

Introducción a la inferencia mejorada de columnas de tipo de fecha en los archivos CSV. Cuando el formato de fecha es coherente en los registros de una columna, esas columnas se pueden inferir como DateType. También puede tener una combinación de formatos de fecha en distintas columnas. Azure Databricks puede deducir automáticamente el formato de fecha de cada columna. Las columnas de fecha de los archivos CSV anteriores a Databricks Runtime 11.3 se dejan como StringType.

Compatibilidad de clonación con tablas de Apache Parquet y Apache Iceberg (versión preliminar pública)

El clon ahora se puede usar para crear y actualizar incrementalmente tablas Delta que reflejan las tablas de Apache Parquet y Apache Iceberg. Puede actualizar la tabla de Parquet de origen y aplicar incrementalmente los cambios a su tabla Delta clonada con el comando de clonación. Ver Clonar incrementalmente tablas de Parquet y Apache Iceberg en Delta Lake.

Uso de SQL para especificar ubicaciones de almacenamiento de nivel de catálogo y esquema para tablas administradas por el catálogo de Unity

Ahora puede usar el comando MANAGED LOCATION de SQL para especificar una ubicación de almacenamiento en la nube para las tablas administradas en los niveles de catálogo y esquema. Consulte CREATE CATALOG y CREATE SCHEMA.

Cambios de comportamiento

Databricks Connect 11.3.2

Ahora se admite la actualización de cliente de Databricks Connect 11.3.2. Consulte Databricks Connect y las notas de versión de Databricks Connect.

Se ha actualizado el conector de Snowflake de Azure Databricks

El conector de Azure Databricks Snowflake se ha actualizado a la versión más reciente del código del repositorio de código abierto, Snowflake Data Source for Apache Spark. Ahora es totalmente compatible con Databricks Runtime 11.3 LTS, incluida la delegación de predicado y la inserción interna del plan de consulta, a la vez que mantiene todas las características de la versión de código abierto.

Ahora, la caché Hadoop para S3A está deshabilitada

La caché de Hadoop (FileSystem API de Apache Hadoop Main 3.3.4) para S3A ahora está deshabilitada. Gracias a esto, puede alinearse con otros conectores de almacenamiento en la nube. En el caso de las cargas de trabajo que dependen del almacenamiento en caché del sistema de archivos, asegúrese de que los sistemas de archivos que estén recién creados se proporcionen con las configuraciones correctas de Hadoop, incluidos los proveedores de credenciales.

El esquema de colección de estadísticas de Delta Lake ahora coincide con el orden de columna en la definición del esquema de tabla

Este cambio soluciona un error en el protocolo de Delta Lake por el que las estadísticas no se recopilaban para las columnas debido a un error de coincidencia en DataFrame y a la ordenación de las columnas de la tabla. En algunos casos, es posible que encuentre una degradación del rendimiento de escritura debido a la recopilación de estadísticas en campos de los que anteriormente no se realizaba un seguimiento. Consulte Omisión de datos.

applyInPandasWithState produce un error si la consulta tiene un orden aleatorio después del operador

El operador applyInPandasWithState produce un error si la consulta tiene shuffle después del operador. Esto sucede cuando el usuario agrega shuffle después de la operación, o cuando el optimizador o receptor agrega shuffle implícitamente.

Actualizaciones de bibliotecas

• Bibliotecas de Python actualizadas:
  • distlib: de 0.3.5 a 0.3.6
• Bibliotecas de R actualizadas:
  • broom: de 1.0.0 a 1.0.1
  • callr: de 3.7.1 a 3.7.2
  • dplyr: de 1.0.9 a 1.0.10
  • dtplyr: desde 1.2.1 hasta 1.2.2
  • forcats: de 0.5.1 a 0.5.2
  • future: de 1.27.0 a 1.28.0
  • future.apply: actualización de la versión 1.9.0 a la 1.9.1
  • gert: de 1.7.0 a 1.8.0
  • globals: de 0.16.0 a 0.16.1
  • gtable: de 0.3.0 a 0.3.1
  • haven: de 2.5.0 a 2.5.1
  • hms: de 1.1.1 a 1.1.2
  • httr: de 1.4.3 a 1.4.4
  • knitr: de 1.39 a 1.40
  • modelr: de 0.1.8 a 0.1.9
  • pillar: de 1.8.0 a 1.8.1
  • progressr: de 0.10.1 a 0.11.0
  • readxl cambia de la versión 1.4.0 a la 1.4.1
  • Actualización de reprex de la versión 2.0.1 a la 2.0.2
  • rlang: de 1.0.4 a 1.0.5
  • rmarkdown: de 2.14 a 2.16
  • RSQLite: de 2.2.15 a 2.2.16
  • rstudioapi: de 0.13 a 0.14
  • rversions: de 2.1.1 a 2.1.2
  • rvest: de 1.0.2 a 1.0.3
  • scales: de 1.2.0 a 1.2.1
  • sparklyr: de 1.7.7 a 1.7.8
  • stringr: de 1.4.0 a 1.4.1
  • Supervivencia de 3.2 a 13 y de 3.4 a 0
  • tinytex: de 0.40 a 0.41
  • viridisLite: de 0.4.0 a 0.4.1
• Bibliotecas de Java actualizadas:
  • com.fasterxml.jackson.core.jackson-annotations: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer: de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12: de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api: de 3.3.2-databricks a 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime: de 3.3.2 a 3.3.4
  • org.apache.orc.orc-core: de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce: de 1.7.5 a 1.7.6
  • org.apache.orc.orc-shims: de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson: de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet: de 2.34 a 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core: de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-client: de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-common: de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-server: de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2: de 2.34 a 2.36

Apache Spark

Databricks Runtime 11.3 LTS incluye Apache Spark 3.3.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 11.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Retraso de onDisconnected para habilitar el controlador recibe ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Mejorar el proceso de LaunchTask para evitar fallos de etapa causados por fallos al enviar mensajes de LaunchTask
• [SPARK-40474] [SC-106248][cherry-pick] Corregir el comportamiento de inferencia del esquema CSV para columnas datetime e introducir la detección automática para campos de Fecha.
• [SPARK-40535] [ SC-111243][sql] Corregir el error que impide que se cree el búfer de AggregatingAccumulator si las filas de entrada están vacías
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implement applyInPandasWithState en PySpark
• [SPARK-40460] [SC-110832][ss] Corrección de métricas de streaming al seleccionar _metadata
• [SPARK-40324] [SC-109943][sql] Proporcionar un contexto de consulta de ParseException
• [SPARK-40466] [SC-110899][ss] Mejorar el mensaje de error cuando DSv2 está deshabilitado mientras DSv1 no está disponible
• [SPARK-40456] [ SC-110848][sql] Debería ser barato llamar a PartitionIterator.hasNext repetidamente
• [SPARK-40169] [SC-110772][sql] No inserte filtros de Parquet sin referencia al esquema de datos
• [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState en varios conjuntos de pruebas
• [SPARK-40468] [ SC-110813][sql] Corregir la eliminación de columnas en CSV cuando se selecciona _corrupt_record
• [SPARK-40291] [ SC-110085][sql] Mejora del mensaje para la columna que no está en grupo por error de cláusula
• [SPARK-40398] [SC-110762][core][SQL] Uso de Loop en lugar de la API Arrays.stream
• [SPARK-40433] [SC-110684][ss][PYTHON] Agregar toJVMRow en PythonSQLUtils para convertir la fila pickleada de PySpark en una fila de JVM
• [SPARK-40414] [SC-110568][sql][PYTHON] Más tipo genérico en PythonArrowInput y PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Agregar alias de función: len, datepart, dateadd, date_diff y curdate
• [SPARK-40470] [ SC-110761][sql] Controlar GetArrayStructFields y GetMapValue en la función "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Mejorar la implementación de Spark Decimal
• [SPARK-40429] [SC-110675][sql] Solo establezca keyGroupedPartitioning cuando la columna a la que se hace referencia esté en la salida.
• [SPARK-40432] [SC-110716][ss][PYTHON] Introduce GroupStateImpl y GroupStateTimeout en PySpark
• [SPARK-39915] [SC-110496][sql] Asegúrese de que la creación de particiones de salida está especificada por el usuario en AQE
• [SPARK-29260] [SQL] Compatibilidad con ALTER DATABASE SET LOCATION si HMS lo admite
• [SPARK-40185] [ SC-110056][sql] Quitar sugerencia de columna cuando la lista candidata está vacía
• [SPARK-40362] [SC-110401][sql] Corregir la normalización de BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refactorización de FlatMapGroupsWithStateExec para que tenga un rasgo primario
• [SPARK-40293] [SC-110084][sql] Hacer que el mensaje de error de la tabla V2 sea más significativo
• [SPARK-38734] [SC-110383][sql] Quitar la clase de error INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Corregir nombres de columna en la función "arrays_zip" cuando se hace referencia a matrices desde estructuras anidadas
• [SPARK-40276] [SC-109674][core] Reducir el tamaño del resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Reemplazar el plan de consulta por contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrar a la clase de error DATATYPE_MISMATCH
• [SPARK-40149] [SC-110055][sql] Propagar columnas de metadatos a través de Project
• [SPARK-40280] [SC-110146][sql] Adición de compatibilidad con la inserción de Parquet para long e int anotados
• [SPARK-40220] [ SC-110143][sc-109175][SQL] No generar el mapa vacío de parámetros del mensaje de error
• [SPARK-40295] [SC-110070][sql] Admisión de funciones v2 con argumentos literales en distribución y ordenación de escritura
• [SPARK-40156] [ SC-109264][sql] url_decode() debe devolver una clase de error.
• [SPARK-39195] [SQL] El OutputCommitCoordinator de Spark debe anular la etapa cuando el archivo comprometido no sea coherente con el estado de la tarea.
• [SPARK-40260] [SC-109424][sql] Uso de clases de error en los errores de compilación de GROUP BY una posición
• [SPARK-40205] [SC-110144][sc-109082][SQL] Proporcionar un contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Mejorar la función TO_BINARY()
• [SPARK-40209] [SC-109081][sql] No modificar el valor del intervalo de Decimal en changePrecision() en caso de error
• [SPARK-40319] [SC-109873][sql] Eliminar el método de error de ejecución de consultas duplicado para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] try_add/try_divide/try_subtract/try_multiply numérico debe producir un error de sus elementos secundarios
• [SPARK-40183] [SC-108907][sql] Utilizar la clase de error NUMERIC_VALUE_OUT_OF_RANGE para el desbordamiento en la conversión decimal
• [SPARK-40180] [SC-109069][sql] Dar formato a los mensajes de error mediante spark-sql
• [SPARK-40153] [SC-109165][sql] Unificar las funciones de resolución y las funciones con valores de tabla
• [SPARK-40308] [SC-109880][sql] Permitir que la función acepte argumentos delimitadores no plegables str_to_map
• [SPARK-40219] [ SC-110052][sc-109663][SQL] El plan lógico de vista resuelto debe contener el esquema para evitar la búsqueda redundante.
• [SPARK-40098] [ SC-109939][sc-108693][SQL] Mensajes de error de formato en el servidor Thrift
• [SPARK-39917] [SC-109038][sql] Utilizar clases de error diferentes para el desbordamiento aritmético numérico y de intervalo
• [SPARK-40033] [SC-109875][sql] Soporte para el recorte de esquemas anidados mediante element_at
• [SPARK-40194] [ SC-109660][sql] La función SPLIT en regex vacía debe truncar la cadena vacía final.
• [SPARK-40228] [SC-109835][sql] No simplificar multiLike si el elemento secundario no es una expresión de bajo coste
• [SPARK-40039] [SC-109896][sc-109260][SS] Presentamos un gestor de archivos de puntos de control de streaming basado en la interfaz Abortable de Hadoop
• [SPARK-40285] [SC-109679][sql] Simplificar el roundTo[Numeric] en Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison debería funcionar cuando falle la conversión a tipo inferior de un literal de In/InSet
• [SPARK-40040] [SC-109662][sql] Aplicar el límite local a ambos lados si la condición de unión está vacía
• [SPARK-40055] [ SC-109075][sql] listCatalogs también debe devolver spark_catalog incluso cuando la implementación de spark_catalog es defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Es posible que Dataset.repartition(N) no cree N particiones (parte no AQE)
• [SPARK-40207] [SC-109401][sql] Especifique el nombre de columna cuando el tipo de datos no sea compatible con el origen de datos.
• [SPARK-40245] [SC-109295][sql] Corregir la comprobación de igualdad de FileScan cuando las columnas de filtro de datos o partición no se leen
• [SPARK-40113] [SC-109405][sql] Implementaciones de la interfaz del Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Permitir personalizar el número de particiones iniciales en el comportamiento take()
• [SPARK-40252] [SC-109379][sql] Reemplazar Stream.collect(Collectors.joining) por StringJoiner api
• [SPARK-40247] [SC-109272][sql] Corregir la verificación de igualdad de BitSet
• [SPARK-40067] [SQL] Uso de Table#name() en lugar de Scan#name() para rellenar el nombre de la tabla en el nodo BatchScan en SparkUI
• [SPARK-39966] [SQL] Uso del filtro V2 en SupportsDelete
• [SPARK-39607] [ SC-109268][sql][DSV2] La distribución y la ordenación admiten la función V2 por escrito
• [SPARK-40224] [SC-109271][sql] Hacer que ObjectHashAggregateExec libere memoria de forma inmediata al recurrir a la clasificación
• [SPARK-40013] [SQL] Las expresiones DS V2 deben tener el valor predeterminado toString
• [SPARK-40214] [SC-109079][python][SQL] agregar 'get' a las funciones
• [SPARK-40192] [SC-109089][sql][ML] Eliminar el groupby redundante
• [SPARK-40146] [SC-108694][sql] Simplifica la generación de código para obtener el valor de un mapa
• [SPARK-40109][SQL] Nueva función SQL: get()
• [SPARK-39929] [SQL] DS V2 admite la optimización a nivel más bajo de las funciones de cadenas de texto (no ANSI)
• [SPARK-39819] [SQL] El pushdown de agregados de DS V2 puede funcionar con Top N o paginación (ordenación con expresiones)
• [SPARK-40213] [SC-109077][sql] Compatibilidad con la conversión de valores ASCII para caracteres latin-1
• [SPARK-39887] [SQL] RemoveRedundantAliases debe mantener alias que hacen que la salida de los nodos de proyección sea única
• [SPARK-39764] [SQL] Hacer que PhysicalOperation sea igual que ScanOperation
• [SPARK-39964] [SQL] El pushdown de DS V2 debería unificar la ruta de traducción
• [SPARK-39528] [SQL] Uso del filtro V2 en SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: siempre devuelve null en el acceso no válido a la columna de mapa
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] Deshabilitar el índice de columna Parquet en DSv1 para solucionar un problema de precisión en el caso de que las columnas de partición y de datos se superpongan
• [SPARK-39880] [SQL] El comando V2 SHOW FUNCTIONS debe imprimir el nombre de la función cualificada igual que v1.
• [SPARK-39767] [SQL] Eliminación de UnresolvedDBObjectName y adición de UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] Novedad: SparkSession.config(Map)
• [SPARK-40136] [SQL] Corrección del fragmento de contextos de consulta SQL
• [SPARK-40107] [SC-108689][sql] Extraer la conversión empty2null de FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inicializar proyección usada para Python UDF
• [SPARK-40128] [SQL] Hacer que VectorizedColumnReader reconozca DELTA_LENGTH_BYTE_ARRAY como codificación de columna independiente
• [SPARK-40132] [ML] Restaurar rawPredictionCol en MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [ SC-108696][sql] Mejora EliminateSorts para admitir la eliminación de ordenación mediante LocalLimit
• [SPARK-39629] [SQL] Compatibilidad con la versión 2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Agregar sobrecarga de funciones array_sort(columna, comparador) a las operaciones de DataFrame
• [SPARK-40117] [PYTHON][sql] Convertir la condición a Java en DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Mejora de la repartición en ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adición del nombre del catálogo de sesiones para la tabla y función de base de datos v1
• [SPARK-39889] [SQL] Uso de clases de error diferentes para valores numéricos o intervalos divididos por 0
• [SPARK-39741][SQL]Compatibilidad con la codificación o descodificación URL como función integrada y funciones relacionadas con direcciones URL ordenadas
• [SPARK-40102] [SQL] Uso de SparkException en lugar de IllegalStateException en SparkPlan
• [SPARK-40014] [SQL] Compatibilidad con la conversión de decimales a intervalos ANSI
• [SPARK-39776] [SQL][follow] Actualizar UT de PlanStabilitySuite en modo ANSI
• [SPARK-39963] [SQL] Simplificación de SimplifyCasts.isWiderCast

Actualizaciones de mantenimiento

Consulte las actualizaciones de mantenimiento de Databricks Runtime 11.3.

Entorno del sistema

• Sistema operativo: Ubuntu 20.04.5 LTS
  • Nota: Esta es la versión de Ubuntu que usan los contenedores de Databricks Runtime. Los contenedores de Databricks Runtime se ejecutan en las máquinas virtuales del proveedor de nube, que pueden usar una versión de Ubuntu o una distribución de Linux diferente.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Bibliotecas de Python instaladas

Bibliotecas de R instaladas

Las bibliotecas de R se instalan desde la instantánea de Microsoft CRAN desde el 08-09-2022. La instantánea ya no está disponible.

Bibliotecas de Java y Scala instaladas (versión del clúster de Scala 2.12)