Databricks Runtime 18

此页面包含由 Apache Spark 4.1.0 提供支持的 Databricks Runtime 18 的统一发行说明。 其中列出了 Databricks Runtime 18 发布周期中提供的所有功能、行为更改和修补程序。

注释

发布过程分阶段进行。 Azure Databricks 帐户在初始发布日期后的几天内可能不会更新。

关于统一发行说明

Azure Databricks 在整个发布周期内逐步推出功能,而不会更改版本号。 并非为每个次要版本分别设置页面,所有更新都汇总在这一个页面上,并按日期列出。 群集在重启时接收更新。

Databricks Runtime 18 是使用此统一格式的第一个版本。 以前,每个功能版本(18.0、18.1、18.2)都有自己的发行说明页。 这些页面仍可供参考。 此前计划随 18.3 或更高版本发布的特性,现已作为 Databricks Runtime 18 的带日期更新发布。

将来,Databricks Runtime 版本将遵循从 Beta(早期评估)到正式版(功能开发约六个月)到 LTS(长期支持、三年的稳定性和安全修复)的生命周期。 由于 18.0 到 18.2 在上一模型中提供,Databricks Runtime 18 是一个过渡版本。 该版本目前处于正式发布(GA)阶段,待 Databricks Runtime 19 正式发布后将过渡到长期支持(LTS)版本。 有关完整生命周期的详细信息,请参阅 Databricks Runtime 支持生命周期


Databricks Runtime 18:2026 年 6 月 10 日

Databricks Runtime 18 现已正式发布(GA)。 有关生命周期的详细信息,请参阅 Databricks Runtime 支持生命周期

新功能和改进

此版本中提供了以下功能和改进。

  • Lakeflow Spark 声明式管道的流式查询 ID:Lakeflow Spark 声明式管道现在可以根据需要设置流式查询 ID。
  • 新的 IP 地址函数(公开预览版):现已推出新的 SQL 函数,用于处理 IPv4 和 IPv6 地址及 CIDR 块,包括 ip_hostip_cidrip_versionip_prefix_lengthip_networkip_network_lastip_cidr_containsip_as_binaryip_as_stringtry_* 这些用于空值安全行为的对应变体。 请参阅 ip_host 和相关函数。
  • 按需状态重新分区(公开预览版)结构化流处理现支持在不丢失检查点状态的情况下,更改有状态查询的洗牌分区数量。 请参阅针对有状态流查询的按需状态重新分区

Apache Spark 修复和改进

此版本包括以下 Bug 修复和对 Spark 的改进:

  • 修复了包含 EXPLODELEFT OUTER JOIN LATERAL 表达式中对 null 处理不正确的问题。 以前,某些输入在结果中生成了不正确的 null 值。
  • Photon 现在会将 Parquet 架构解析过程中出现的重复 field_id 错误延后到访问受影响字段时才处理。 不引用重复字段的查询现在成功,而不是在架构解析时失败。

Databricks Runtime 18: 2026 年 6 月 8 日

Apache Spark 修复和改进

此版本包括以下 Bug 修复和对 Spark 的改进:

  • NEAREST BY 现已成为 top-K 最近邻查询中受支持的 SQL 连接类型。
  • DESCRIBE TABLE ... PARTITION 现已支持 v2 目录表。 以前,此语法仅适用于 v1 表。
  • SQL PATH 支持已扩展: SET PATH 现在是受支持的 SQL 语句, CURRENT_PATH() 返回当前路径,PATH 现在保留在视图和 SQL 函数定义中,并包含在输出中 DESCRIBE
  • UPDATE 对 DSv2 表的查询现在在查询输出中包含操作指标。
  • DSv2 分区谓词现已支持嵌套分区列。
  • 修复了一个错误:此前,使用 PartialMergeFinal 聚合执行的聚合查询可能会因缺少必需的输入属性而失败。
  • 大型外部排序现采用有界 k 路合并,以减少将数据溢出到磁盘时发生的内存不足错误。

Databricks Runtime 18: 2026 年 6 月 4 日

行为更改

查看以下更改,这些更改在此运行时重启群集时生效。

  • NATURAL JOIN 不区分大小写的列匹配NATURAL JOIN 现在在匹配联接左右两侧的共同列时,会遵循 spark.sql.caseSensitive 配置(默认值:false)。 此前,列匹配始终区分大小写,导致仅在大小写上不同的列(例如 IDid)无法被识别为共同列。 这会导致执行隐式交叉连接,而非预期的等值连接。 等效的 USING 连接已正确处理了这一点。 若要还原以前的行为,请将 spark.sql.legacy.naturalJoinCaseSensitiveColumnMatching 设置为 true

Databricks Runtime 18:2026 年 5 月 29 日

  • 使用NaN键的结构化流去重:当使用NaN列作为去重键时,double 现在会将位模式不同的float(非数字)值视为重复项。 以前,具有不同内部表示形式的 NaN 值会被视为不同的值,并且不会被去重。
  • 修复了一个问题:在元数据刷新期间,Unity Catalog 外部目录中的表(例如 Snowflake 连接表)的表级权限可能会被移除,从而导致查询失败并报出 INSUFFICIENT_PERMISSIONS 错误。 刷新外部表元数据时,现会保留权限。

Databricks Runtime 18:2026 年 5 月 18 日

行为更改

查看以下更改,这些更改在此运行时重启群集时生效。

  • CREATE OR REPLACE TABLECREATE OR REPLACE TABLE 现在默认保留现有列和表注释。 以前,在重新创建表格时,注释会被删除。 托管表和视图现与具体化视图及流式表的现有行为保持一致。
  • DataFrame 按名称写入writeTo().append()writeTo().overwrite()writeTo().overwritePartitions()write.mode("append").saveAsTable() 现会自动将类型兼容的列(例如 int 转换为 long)进行类型转换,以匹配目标 Delta 表的模式。 以前,当列类型兼容但不完全相同时,这些操作失败并出现 DELTA_FAILED_TO_MERGE_FIELDS 错误。 行为现在与 SQL INSERT INTO ... BY NAME匹配。 save()saveAsTable() 在覆盖模式下不受影响。
  • ALTER TABLE SET TBLPROPERTIES 针对 pipelines.pipelineIdALTER TABLE <table> SET TBLPROPERTIES('pipelines.pipelineId' = '<pipeline-id>') 现会尝试使指定表符合管道的写入条件。 以前,在常规表上设置此属性不起作用。 如果该表不符合管道写入条件,命令会抛出 SETTING_PIPELINES_PIPELINE_ID_NOT_SUPPORTED
  • cloud_files_state cloud_files_state:表值函数(TVF)现在包含一列discovery_mode,其中显示了自动加载程序如何发现每个文件。 升级之前发现的文件在此列中具有 null 值。
  • DESCRIBE EXTENDED AS JSON:现在在其输出中包含预测优化评估结果。 以前,JSON 输出中未返回此信息。
  • 指标视图窗口度量:当查询使用GROUP BYIN/BETWEEN 过滤器,或在窗口的顺序列上使用混合谓词时,现在会返回正确的结果。 以前,这些筛选器模式可能会生成不正确的结果。

新功能和改进

此版本中提供了以下功能和改进。

  • 群集库:在群集上安装 PyPI 库、轮子或 requirements.txt 文件时, 库选项卡和库 REST API 现在显示所有已解析和已安装的包,包括可传递依赖项。 对于解析超过 500 个包的安装,列表将被截断。 群集的驱动程序日志中提供了完整的安装报告。
  • 使用 SQL 语法基于快照执行自动 CDC:Lakeflow Spark 声明性管道现已支持使用 SQL 语法 基于快照执行自动 CDC。 以前,此功能只能通过 Python API 使用。 使用 CREATE STREAMING TABLE ... FLOW AUTO CDC FROM SNAPSHOT 以每次处理一个快照的方式处理快照源(例如 Delta 表、云存储或 JDBC)。 支持 SCD 类型 1(默认)和 SCD 类型 2。
  • array_sort 使用自定义比较器Photon 现在可加速 array_sort 表达式,这些表达式使用自定义比较器按一个或多个字段对结构体数组进行排序。 此前,这些表达式会回退到非 Photon 执行模式。 若要启用此优化,请设置为 spark.databricks.photon.rewriteArraySortComparator.enabledtrue.

Apache Spark 修复和改进

此版本包括以下 Bug 修复和对 Spark 的改进:

  • SQL 查询现在支持一个 QUALIFY 子句,该子句允许直接在查询中筛选窗口函数结果。 此前,这需要将查询包装在子查询中。
  • spark.read.jsonspark.read.csv现在 spark.read.xml 接受 DataFrame 作为输入,因此你可以分析内存中数据,而无需先将其保存到文件中。
  • DataFrame.changes() 现已支持通过 DataFrame API 读取变更数据捕获(CDC)输出。
  • 当从错误的 DataFrame 引用 DataFrame 列时,错误信息现在会明确指出具体列名。 还可以设置为 spark.sql.columnResolution.strict 使 Spark 强制实施更严格的列匹配,并提前捕获这些错误。
  • MERGE INTO 当语句按别名包含 WHEN MATCHED THEN DELETE 或引用嵌套列时,架构演变现在可正常工作。 以前,这些组合可能会失败或无提示地产生错误的结果。
  • SHOW COLLATIONS 列出所有受支持的排序规则及其属性,在为文本排序或比较选择排序规则时非常有用。
  • Spark 的查询优化器现在正确地估计了数据筛选器将减少多少。 此前,不准确的估算会导致 Spark 在连接操作期间将大型表完全加载到内存中,从而引发内存不足错误。
  • 具有多个 COUNT(DISTINCT) 表达式的查询运行速度更快,因为 Spark 现在减少了执行计划前面的数据,而不是先扩展数据。
  • Python使用箭头优化的 UDF 不再执行不必要的数据格式转换,从而减少开销。
  • 流与流之间的非外连接现在不仅可以在追加模式下,还可以在更新模式下生成输出,从而允许其写入更多输出目标。
  • 任务被取消时,JDBC 连接现在会被正确关闭。 此前,取消操作可能会导致连接保持打开状态,从而导致后续任务挂起。
  • array_insert 当给定非常大的负数作为插入位置时,不再产生错误的结果。

Databricks Runtime 18:2026 年 5 月 4 日

行为更改

查看以下更改,这些更改在此运行时重启群集时生效。

  • XPath:通过 XML 计算 XPath时,Azure Databricks不再加载外部文档类型定义(DTDs)。 以前由于无法访问的外部 DTD 引用而失败的查询现在可以成功。
  • 架构演变中的 NULL 结构行为:对于 INSERTMERGE 以及使用 架构演变 的流式写入,源中的 NULL 结构现在会在目标中存储为 NULL。 以前,NULL 结构被错误地具体化为非 null 结构,每个字段都设置为 NULL。 更新任何依赖于接收其所有字段均为 NULL 的非 NULL 结构体的代码——这类情况现在会返回 NULL 结构体。
  • NATURAL JOIN:现在当 spark.sql.caseSensitivefalse(默认值)时,会正确使用不区分大小写的列匹配。 此前,仅在大小写上不同的列(例如 IDid)不会被识别为匹配,导致 NATURAL JOIN 会静默地生成交叉连接结果。 此修复使NATURAL JOIN的行为与USING联接保持一致。
  • AWS SDK v1 依赖项:现在已着色,不再直接在类路径上可用。 如果代码依赖于以前由 Databricks Runtime 提供的 AWS SDK v1 库,请在项目中将其添加为显式依赖项。
  • Unity 目录中的 SQL UDF 依赖项验证:Unity 目录现在对 SQL 用户定义的函数强制实施依赖项验证,以防止绕过访问控制。 具有无效依赖项配置的 SQL UDF 被阻止执行。
  • LEFT OUTER JOIN LATERAL:已修复一个错误地删除行数的缺陷。 使用此构造的查询现在返回正确的结果。 若要暂时还原到以前的行为,请设置为 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictrue
  • regr_r2:现在正确将第一个参数视为依赖变量。 依赖于先前错误行为的查询返回不同的结果。
  • 双曲函数sinhcoshtanh相关的双曲函数现在返回 Infinity ,而不是在给定非常大的输入时引发溢出错误。
  • asinhacosh:现在使用 fdlibm 算法实现跨引擎一致性。 对于边缘大小写输入,结果可能与以前版本略有不同。
  • LIKE 模式匹配:现在可正确处理补充 Unicode 字符(U+FFFF 以上的码位)。 此前因这些字符而匹配或错误失败的模式,现在可返回正确结果。
  • VOID (NullType) 列:增量表现支持 VOID (NullType) 列。 读取时,VOID 列不再从表模式中删除。 写入操作不受影响。

新功能和改进

此版本中提供了以下功能和改进。

  • CREATE OR REPLACE TEMP TABLE:现在支持,允许在单个语句中创建或替换 临时表
  • agg():现在可用作函数的 measure() 别名。 使用 measure() 的现有查询可在不修改的情况下继续工作。
  • pyspark.pipelines.testing:现已可作为 dlt.testing API 的便捷别名使用。
  • 自动加载程序列表性能自动加载程序 现在使用更有效的列表方法,可提高云存储源的列表速度。 如果由于长时间运行的列表操作导致流触发器重叠,此优化可能会增加云列表 API 的成本。
  • DESCRIBE HISTORY写入选项标志:Delta 表历史(DESCRIBE HISTORY)现已在operationParameters中包含适用于WRITEREPLACE TABLE操作的写入选项标志。 仅当true时,才会出现以下标志:isDynamicPartitionOverwritecanOverwriteSchemacanMergeSchemapredicateisV1WriterSaveAsTableOverwrite
  • 结构化流处理回退和重放结构化流处理 现已支持回退和重放,无需完全重置状态,即可从流中较早的时间点重新处理数据,以便在发生架构更改或逻辑错误等故障后进行恢复。
  • SparkSession.emptyDataFrame:现在可用作方便的 API,用于创建无列和无行的空 DataFrame
  • TIMESTAMP WITH LOCAL TIME ZONE:现已支持作为 TIMESTAMP_LTZ 类型的 SQL 语法别名。
  • to_json sortKeys 选项to_json 函数现支持 sortKeys 选项,以生成键按排序顺序排列的 JSON 输出。
  • spark.catalog.*:API 方法现在已与用于目录、模式和表操作的对应 DDL 命令实现功能一致。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18: 2026 年 4 月 20 日

  • 修复了 GEOMETRY(102100) 类型的 CRS 空间参考权威。 该权威现在报告为 ESRI:102100 而不是 EPSG:102100
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18:2026 年 4 月 2 日

  • 改进了将数据写入包含用户定义类型 (UDT) 内 VOID (NullType) 列的 Delta 表的查询的错误处理。
  • JDBC 流式接收端连接现采用 30 秒的套接字超时设置,针对瞬时错误(连接失败、死锁、速率限制)采用指数退避的重试逻辑,并在连接中断时执行优雅回滚。
  • 修复了在参数化查询中使用 Unicode 字符时发生的 SQL 文本损坏。
  • SHOW CREATE TABLE 现在为具有非默认排序规则的表和视图生成正确的输出。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18: 2026 年 3 月 11 日

行为更改

查看以下更改,这些更改在此运行时重启群集时生效。

  • 观察指标错误:不再导致查询执行失败。 以前,OBSERVE 子句中的错误(例如除以零)可能会阻止整个查询或导致其失败。 现在,查询会成功完成,但当你调用observation.get时会引发错误。
  • FILTER子句现用于 MEASURE: MEASURE 聚合函数,并支持 FILTER 子句。 以前,筛选器会被默默忽略。
  • DESCRIBE FLOW:命令 DESCRIBE FLOW 现已可用。 如果有一个名为 flow 的表,请使用带反引号的 DESCRIBE schema.flowDESCRIBE TABLE flowDESCRIBE `flow`
  • SpatialSQL 布尔集操作ST_DifferenceST_IntersectionST_Union 使用以下改进的新实现:
    • 有效的输入几何图形始终生成结果,不再引发错误。
    • 性能快约 2 倍。
    • 结果规范化为一致、可比较的输出。
  • SQLSTATE 的异常类型更新异常类型 以支持 SQLSTATE。 如果代码按字符串匹配分析异常或捕获特定异常类型,请更新错误处理逻辑。
  • 流式读取中的自动类型扩展:对 Delta 表执行的流式读取会自动处理 列类型扩展。 若要要求手动确认,请设置为 spark.databricks.delta.typeWidening.enableStreamingSchemaTrackingtrue

新功能和改进

此版本中提供了以下功能和改进。

  • 默认情况下,自动加载程序文件事件:从启用了文件事件的外部位置加载时,自动加载程序默认使用文件事件,这减少了与目录列表相比的列表操作和成本。 请参阅 Auto Loader 文件事件概述。 若要改用目录列表,请设置为 useManagedFileEventsfalse

  • 架构演变与 INSERT:在插入操作期间,将 WITH SCHEMA EVOLUTION 子句与 SQL INSERT 语句结合使用,以自动改进目标表的架构。 支持 INSERT INTOINSERT OVERWRITEINSERT INTO ... REPLACE。 例如:

    INSERT WITH SCHEMA EVOLUTION INTO students TABLE visiting_students_with_additional_id;
    
  • Delta Sharing 多语句事务:使用预签名 URL 或云令牌共享模式的 Delta Sharing 表支持多语句事务。 在事务中的首次访问时,表版本会被锁定,并用于该事务中后续的所有读取操作。

  • parse_timestampparse_timestamp SQL 函数使用多个模式分析时间戳字符串,而 Photon 引擎支持提高了性能。

  • 带可选 max_bymin_bylimit:聚合函数 max_bymin_by 现在支持可选的第三个参数 limit(最大值为 100,000)。 若提供这些函数,它们将返回一个最多包含 limit 个值的数组,从而无需使用窗口函数或 CTE 即可简化前 K 和后 K 查询。

  • DATETIMEOFFSET for Azure Synapse:Microsoft Azure Synapse 连接支持 DATETIMEOFFSET 数据类型。

  • Google BigQuery 表注释:Google BigQuery 表描述会被解析并作为表注释显示。

  • IGNORE NULLS / RESPECT NULLS用于 array_aggcollect_listarray_aggcollect_list 聚合函数现支持 IGNORE NULLSRESPECT NULLS 子句。

  • PIVOT aliasesPIVOT 子句现已支持别名,允许您在输出中重命名数据透视列表达式。

  • SQL 脚本CURSOR变量:SQL 脚本现已支持 CURSOR 变量,用于在脚本块内对查询结果集逐行进行迭代。

  • 矢量数学聚合函数:新的矢量数学聚合函数可用: vector_avgvector_sumvector_normvector_normalize。 这些函数对密集矢量列进行操作,并支持 ML 工作负荷。

  • Trigger.AvailableNow 在 Python 流式读取器中:Python 数据源流式读取器现在支持 Trigger.AvailableNow 和准入控制,从而能够对所有可用数据进行一次性批处理。

  • PySpark 中的状态重新分区 API:除了 Scala 之外,PySpark 中现在还提供流 TransformWithState 式处理运算符的状态重新分区 API。 请参阅针对有状态流查询的按需状态重新分区

  • applyInPandas 性能修复:已解决大型组中的 3 倍性能回归 applyInPandas 问题。


Databricks Runtime 18: 2026 年 3 月 10 日

  • 使用 EXEC IMMEDIATE 时的标量子查询错误消息现在能更清晰地指明具体原因。
  • 修复了流式检查点日志压缩中的竞争条件,该问题可能导致 Structured Streaming 查询出现非确定性行为。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18: 2026 年 2 月 26 日

  • SET METADATA ON COLUMNUNSET METADATA ON COLUMN SQL 命令现在可用于管理 Unity 目录表列上的语义元数据。 用于SET METADATA ON COLUMN将属性(display_nameformatsynonyms)附加到列。 使用 UNSET METADATA ON COLUMN 删除以前设置的元数据属性。
  • DESCRIBE TABLE 现在包括一个 metadata 列,其中以 JSON 字符串的形式显示列级语义元数据。
  • 修复了Windows环境中因缺少 UnixStreamServer 而导致的 PySpark 导入错误。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18:2026 年 2 月 19 日

  • 在推断Excel文件的架构时,字符串单元格现在被推断为 Spark StringType,并遵循Excel中设置的单元格类型。 以前,具有数值的字符串被自动强制转换为更窄的类型,例如 LongDecimal。 更新依赖于先前行为的代码。
  • DataFrame.toJSON()现已在 Python Spark Connect 客户端中提供。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18:2026 年 1 月 27 日

  • 自动加载程序现在将报告 batchSizeNumFilesbatchSizeNumBytes文件处理状态(numFilesProcessednumFilesSkippedCorruptednumFilesSkippedMissingnumFilesUnknownState)作为指标。
  • INSERT INTO ... BY NAME 现在支持 REPLACE WHERE 子句。
  • 配置属性 spark.sql.xml.legacyXMLParser.enabled 已重命名为 spark.sql.legacy.useLegacyXMLParser。 更新使用旧名称的任何群集或会话配置。
  • 如果 spark.task.resource.gpu.amount 大于 1,Torch 分发服务器现在会为每个 GPU 启动一个 torchrun 进程,而不是每个任务。
  • [安全修补程序] 操作系统安全更新。

Databricks Runtime 18:2026 年 1 月 15 日

Databricks Runtime 18 现已在功能开发中,由 Apache Spark 4.1.0 提供支持。 此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。

行为更改

查看以下更改,这些更改在此运行时重启群集时生效。

  • JDK 21:Databricks Runtime 18 使用 JDK 21 作为默认Java开发工具包。 JDK 21 已正式发布,是长期支持(LTS)版本。 以前,默认值为 JDK 17。 值得注意的更改:

    • Double.toString()Float.toString() 现在生成最短的唯一字符串表示形式,这在某些特殊情况下可能与 JDK 17 的输出不同。
    • Thread.stop()Thread.suspend()Thread.resume() 现在抛出 UnsupportedOperationException
    • 更新的区域设置数据(CLDR v42)可能会影响日期、时间和数字格式。

    如果遇到兼容性问题,请回退到 JDK 17。 有关配置 JDK 版本的信息,请参阅 创建具有特定 JDK 版本的群集

  • FSCK REPAIR TABLE:现在会先执行初始的元数据修复步骤,然后再检查数据文件是否缺失。 该命令适用于具有损坏检查点或无效分区值的表。

  • Spark Connect Scala 空值处理:Spark Connect Scala 客户端中,类型化字面量的数组和映射类型的空值处理现已得到保留。 以前,数组中的元素和映射中的值始终可以为 null。

  • FSCK REPAIR TABLE DRY RUNdataFilePath输出架构中的FSCK REPAIR TABLE DRY RUN列现在可为空,以支持报告数据文件路径不适用的新问题类型。

  • SHOW TABLES DROPPED:现在能正确遵守 LIMIT 子句。

  • Python UDF 执行:Unity 目录Python UDF 现在使用 Apache Arrow 作为默认交换格式,从而提高整体性能。 作为此更改的一部分,TIMESTAMP传递给 Python UDF 的值不再在对象的datetime属性中包含tzinfo时区信息。 时间戳值本身仍以 UTC 格式保存,但时区元数据现已删除。 如果您的 UDF 依赖于时区信息,请使用 date = date.replace(tzinfo=timezone.utc) 恢复它。 有关详细信息,请参阅 输入的时间戳时区行为

  • 时间回溯与 VACUUM 保留期:Azure Databricks 现在会阻止所有表中超出 deletedFileRetentionDuration 阈值的时间回溯查询。 该 VACUUM 命令忽略保留期参数,但值为 0 小时除外。 不能设置 deletedFileRetentionDuration 大于 logRetentionDuration 或反之。

  • 在 PySpark 中BinaryType:在 PySpark 中,BinaryType 现统一映射到 Python bytes。 以前,PySpark 会根据上下文将 BinaryType 映射到 bytesbytearray。 若要还原旧行为,请设置为 spark.sql.execution.pyspark.binaryAsBytesfalse.

  • Delta MERGE 中的 NULL 结构体与 UPDATE:在包含结构体类型转换的 Delta MERGE、UPDATE 以及流式写入操作中,现在会将 NULL 值保留为 NULL。 以前,NULL 结构已扩展为具有 NULL 字段的结构。

  • 分区列的实例化:分区 Delta 表现在会将分区列实例化到新写入的 Parquet 数据文件中。 以前,分区值存储在 Delta 事务日志元数据中,并反映在目录路径中,但不作为列写入 Parquet 文件本身。 此更改与 Apache Iceberg 和 UniForm 行为保持一致,可能会影响直接读取 Delta Lake 编写的 Parquet 文件的工作负荷。

  • 时间戳分区时区:时间戳分区值以前使用 JVM 时区而不是 spark.sql.session.timeZone 配置转换为 UTC。 现在,时间戳分区值已根据 Spark 会话的时区设置得到正确调整。

  • DESCRIBE TABLE 元数据列DESCRIBE TABLE [EXTENDED] 的输出现在为所有表类型新增了一个 metadata 列。 此列包含在表上定义为 JSON 字符串的语义元数据(显示名称、格式和同义词)。

新功能和改进

此版本中提供了以下功能和改进。

  • SQL 脚本:SQL 脚本功能现已正式发布。
  • 为 Unity 目录Python UDF 共享隔离:默认情况下,具有相同所有者的 Unity 目录Python UDF 可以共享隔离环境。 这通过减少启动的独立环境数来提高性能并减少内存使用量。 若要确保 UDF 始终在完全隔离的环境中运行,请添加 STRICT ISOLATION 特征子句。 请参阅 环境隔离
  • 指标视图中的 SQL 窗口函数:现在可以在指标视图中使用 SQL 窗口函数 来计算运行总计、排名和其他基于窗口的计算。
  • 无状态流式处理中的动态随机分区:现在可以在不重启查询的情况下更改 无状态流式处理查询 中的随机分区数。
  • 无状态流处理中的 AQE 和 AOS:自适应查询执行 (AQE) 和自动优化洗牌 (AOS) 现已在 无状态流处理查询 中得到支持。
  • 参数标记:现在,可以使用命名(:param)和未命名(?)参数标记,几乎可以在任意位置使用适当类型的文本值。 这包括 DDL 语句,例如 CREATE VIEW v AS SELECT ? AS c1、列类型 DECIMAL(:p, :s)COMMENT ON t IS :comment。 有关详细信息 ,请参阅参数标记
  • IDENTIFIER 子句:可将字符串强制转换为 SQL 对象名称的 IDENTIFIER 子句,其适用范围已扩展到几乎任何允许使用标识符的地方。 有关详细信息,请参阅 IDENTIFIER 子句
  • BITMAP_AND_AGG:现有函数库 BITMAP 现在包含新的 BITMAP_AND_AGG 函数。
  • Theta Sketch 函数:现在,您可以使用一个新的函数库,利用 Datasketches Theta Sketch 执行近似去重计数和集合运算。 请参阅 theta_sketch_agg 和相关函数。
  • KLL 草图函数:现在可以使用新的函数库来使用 KLL 草图进行近似分位数计算。 请参阅 kll_sketch_agg_bigint 和相关函数。
  • 新的地理空间函数:现已提供 st_azimuthst_boundaryst_closestpointst_geogfromewkt
  • GeometryTypeGeographyType:Apache Spark 现已在 PySpark 和 Java API 中支持原生 GeometryTypeGeographyType 数据类型。 这些类型支持箭头序列化和 Parquet 读取和写入,与 SQL 地理空间函数不同。
  • approx_top_k:新的 approx_top_k 聚合函数使用一种空间高效的草图算法,返回列中出现频率最高的前 K 个值的近似结果。
  • Spark Connect JDBC 驱动程序:Apache Spark 现在包含用于 Spark Connect 的 JDBC 驱动程序,支持基于 JDBC 的客户端和工具通过 Spark Connect 协议连接到 Spark。
  • Iterator[pandas.DataFrame] in applyInPandasDataFrame.applyInPandas 现在接受一个具有 Iterator[pandas.DataFrame] 签名的函数,从而通过以批次流式传输数据来减少处理大型组时的开销。
  • 检查约束:现在支持约束表达式中的 null 值比较。
  • 针对 TransformWithState 的状态重新分区 API:Scala 中的 TransformWithState 流式操作符现已提供新的状态重新分区 API,允许您在查询重启时更改有状态数据的键分区。 请参阅针对有状态流查询的按需状态重新分区
  • pyspark-connect 中的 Python 3.14pyspark-clientpyspark-connect 现已支持 Python 3.14。

图书馆升级

  • 升级后的 Python 库:

    • anyio 从 4.6.2 到 4.7.0
    • asttokens 2.0.5 至 3.0.0
    • azure-core 版本从 1.34.0 升级到 1.37.0
    • 从 1.5.0 到 1.6.0 的 azure-mgmt-core
    • azure-storage-blob 从 12.23.0 升级到 12.28.0
    • azure-storage-file-datalake 从 12.17.0 到 12.22.0
    • boto3 从 1.36.2 到 1.40.45
    • botocore 从 1.36.3 到 1.40.45
    • 证书从2025年1月31日到2025年4月26日
    • 点击将版本从 8.1.7 更新至 8.1.8
    • 加密从 43.0.3 到 44.0.1
    • Cython 从 3.0.12 到 3.1.5
    • databricks-sdk 从 0.49.0 到 0.67.0
    • 已从 1.2.13 弃用到 1.2.18
    • 执行版本从 0.8.3 到 1.2.0
    • fastapi 从 0.115.12 到 0.128.0
    • filelock 从 3.18.0 到 3.17.0
    • google-api-core 从 2.20.0 到 2.28.1
    • google-auth 从 2.40.0 到 2.47.0
    • google-cloud-core 从 2.4.3 到 2.5.0
    • google-cloud-storage 从 3.1.0 到 3.7.0
    • google-crc32c 从 1.7.1 到 1.8.0
    • google-resumable-media 从 2.7.2 升级到 2.8.0
    • h11 从 0.14.0 到 0.16.0
    • 从 1.0.2 到 1.0.9 的 httpcore
    • httpx 从 0.27.0 到 0.28.1
    • isodate 从 0.6.1 到 0.7.2
    • Jinja2 从 3.1.5 到 3.1.6
    • jupyter-events 从 0.10.0 到 0.12.0
    • jupyter-lsp 从 2.2.0 到 2.2.5
    • jupyter_server 2.14.1 到 2.15.0
    • jupyter_server_terminals从 0.4.4 到 0.5.3
    • mistune从2.0.4更新到3.1.2
    • mlflow-skinny 从 3.0.1 到 3.8.1
    • mmh3 从 5.1.0 到 5.2.0
    • msal 从 1.32.3 到 1.34.0
    • nbclient 从 0.8.0 到 0.10.2
    • nbconvert版本从7.16.4更新到7.16.6
    • nodeenv 从 1.9.1 到 1.10.0
    • notebook_shim 0.2.3 到 0.2.4
    • opentelemetry-api 从版本 1.32.1 更新到版本 1.39.1
    • opentelemetry-sdk 从 1.32.1 到 1.39.1
    • opentelemetry-semantic-conventions 从 0.53b1 到 0.60b1
    • platformdirs 的版本从 3.10.0 升级到 4.3.7
    • prometheus_client从 0.21.0 到 0.21.1
    • proto-plus 从 1.26.1 到 1.27.0
    • psycopg2 从 2.9.3 到 2.9.11
    • pyarrow 从 19.0.1 到 21.0.0
    • 从 2.15.1 到 2.19.1 的 Pygments
    • pyiceberg 从 0.9.0 到 0.10.0
    • python-lsp-server 从 1.12.0 到 1.12.2
    • rope 已从 1.12.0 升级到 1.13.0
    • s3transfer 从 0.11.3 到 0.14.0
    • scipy 已更新版本从 1.15.1 至 1.15.3
    • setuptools 版本号从 74.0.0 更新到 78.1.1
    • six 从 1.16.0 到 1.17.0
    • 从 0.5.3 到 0.5.5 的 sqlparse
    • 从 0.2.0 到 0.6.3 的 stack-data
    • starlette 从 0.46.2 升级至 0.50.0
    • tornado 已从 6.4.2 升级到 6.5.1
    • types-python-dateutil 从 2.9.0.20241206 升级至 2.9.0.20251115
    • uvicorn 从 0.34.2 到 0.40.0
    • 网页颜色从 24.11.1 版升级到 25.10.0 版
  • 升级后的 R 库:

    • 箭头从 19.0.1 到 22.0.0
    • 基础版本从 4.4.2 到 4.5.1
    • bigD 从 0.3.0 到 0.3.1
    • 将 broom 从 1.0.7 升级到 1.0.10
    • clock 已从 0.7.2 升级到 0.7.3
    • commonmark 从 1.9.5 到 2.0.0
    • 编译器从 4.4.2 到 4.5.1
    • 证书从版本 2.0.2 更新至 2.0.3
    • curl 版本从 6.4.0 升级到 7.0.0
    • data.table 版本从 1.17.0 到 1.17.8
    • 从 4.4.2 到 4.5.1 的数据集
    • dbplyr 从 2.5.0 到 2.5.1
    • devtools 从 2.4.5 到 2.4.6
    • diffobj 从 0.3.5 到 0.3.6
    • digest 从 0.6.37 到 0.6.39
    • downlit 已从 0.4.4 升级到 0.4.5
    • dtplyr 从 1.3.1 到 1.3.2
    • evaluate 已从 1.0.3 升级到 1.0.5
    • fansi 从 1.0.6 到 1.0.7
    • forcats 从 1.0.0 到 1.0.1
    • fs 从 1.6.5 到 1.6.6
    • future 已从 1.34.0 升级到 1.68.0
    • future.apply 从 1.11.3 到 1.20.0
    • gargle从1.5.2升级到1.6.0
    • gert 从 2.1.4 到 2.2.0
    • ggplot2 从 3.5.1 到 4.0.1
    • gh 从 1.4.1 到 1.5.0
    • git2r 从 0.35.0 到 0.36.2
    • glmnet 从 4.1-8 到 4.1-10
    • googledrive 从 2.1.1 到 2.1.2
    • googlesheets4 从 1.1.1 到 1.1.2
    • 从 4.4.2 到 4.5.1 的图形
    • grDevices 从 4.4.2 到 4.5.1
    • 从 4.4.2 到 4.5.1 的网格
    • 将 gt 从 0.11.1 更新至 1.1.0
    • hardhat 从 1.4.1 到 1.4.2
    • haven 从 2.5.4 到 2.5.5
    • 从 1.1.3 到 1.1.4 的 hms
    • httpuv 从 1.6.15 到 1.6.16
    • httr2 从 1.1.1 到 1.2.1
    • 从 1.9.1 到 2.0.0 的 jsonlite
    • 稍后从 1.4.1 升级到 1.4.4
    • lava 已从 1.8.1 升级到 1.8.2
    • listenv 从 0.9.1 到 0.10.0
    • magrittr 从 2.0.3 到 2.0.4
    • markdown 从 1.13 到 2.0
    • 从 4.4.2 到 4.5.1 的方法
    • miniUI 从 0.1.1.1 到 0.1.2
    • mlflow 从 2.20.4 到 3.6.0
    • openssl 从 2.3.3 到 2.3.4
    • parallel 已从 4.4.2 升级到 4.5.1
    • parallelly 已从 1.42.0 升级到 1.45.1
    • pillar 已从 1.11.0 升级到 1.11.1
    • pkgbuild 从 1.4.6 到 1.4.8
    • pkgdown 从版本 2.1.1 升级到 2.2.0
    • pkgload 从 1.4.0 到 1.4.1
    • pROC 从 1.18.5 到 1.19.0.1
    • prodlim 从 2024.06.25 到 2025.04.28
    • progressr 从 0.15.1 升级到 0.18.0
    • promises 已从 1.3.2 升级到 1.5.0
    • ps 版本从 1.9.0 升级到 1.9.1
    • 将 purrr 从 1.0.4 升级到 1.2.0
    • ragg版本从1.3.3更新到1.5.0
    • Rcpp 从 1.0.14 到 1.1.0
    • readr 从 2.1.5 到 2.1.6
    • 食谱从 1.2.0 到 1.3.1
    • reshape2 从 1.4.4 更新至 1.4.5
    • rmarkdown版本从2.29升级到2.30
    • roxygen2 从 7.3.2 到 7.3.3
    • rprojroot 从 2.0.4 到 2.1.1
    • RSQLite 从 2.3.9 到 2.4.4
    • rversions 已从 2.1.2 升级到 3.0.0
    • rvest 从 1.0.4 到 1.0.5
    • sass 从 0.4.9 到 0.4.10
    • 从版本 1.3.0 升级到 1.4.0
    • shiny 从 1.10.0 到 1.11.1
    • sparklyr 从 1.9.1 到 1.9.3
    • SparkR 从 4.0.0 到 4.1.0
    • sparsevctrs从0.3.1到0.3.4
    • 从 4.4.2 到 4.5.1 的样条
    • 从 4.4.2 到 4.5.1 的统计信息
    • stats4 从 4.4.2 到 4.5.1
    • stringr 从 1.5.1 到 1.6.0
    • Systemfonts 从 1.2.1 到 1.3.1
    • tcltk 从 4.4.2 到 4.5.1
    • testthat 从 3.2.3 到 3.3.0
    • textshaping 已从 1.0.0 升级到 1.0.4
    • timeDate 从 4041.110 到 4051.111
    • tinytex 从 0.56 到 0.58
    • 工具从 4.4.2 到 4.5.1
    • 将 usethis 从 3.1.0 升级到 3.2.1
    • utils 已从 4.4.2 升级到 4.5.1
    • V8 从 6.0.2 到 8.0.1
    • 从 1.6.5 到 1.6.6 的 vroom
    • waldo 从 0.6.1 到 0.6.2
    • xfun 从 0.51 到 0.54
    • xml2 从 1.3.8 到 1.5.0
    • zeallot 从 0.1.0 到 0.2.0
    • zip 从 2.3.2 到 2.3.3
  • 升级后的 Java 库:

    • com.amazonaws.amazon-kinesis-client 从 1.12.0 到 1.15.3
    • com.amazonaws.aws-java-sdk-autoscaling 从 1.12.638 升级到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudformation 从版本 1.12.638 升级到版本 1.12.681
    • com.amazonaws.aws-java-sdk-cloudfront 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudhsm 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudsearch 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudtrail 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatch 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-codedeploy 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cognitoidentity 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-cognitosync 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-config 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-core 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-datapipeline 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-directconnect 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-directory 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-dynamodb 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-ec2 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-ecs 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-efs 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-elasticache 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-elastictranscoder,从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-emr 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-glacier 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-glue 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-iam 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-importexport 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-kinesis 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-kms 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-lambda 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-logs 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-machinelearning 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-opsworks 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-rds 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-redshift 从 1.12.638 升级到 1.12.681
    • com.amazonaws.aws-java-sdk-route53 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-s3 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-ses 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-simpledb 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-simpleworkflow 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-sns 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-sqs 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-ssm 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-storagegateway 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-sts 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-support 从 1.12.638 到 1.12.681
    • com.amazonaws.aws-java-sdk-workspaces 从 1.12.638 到 1.12.681
    • com.amazonaws.jmespath-java 从 1.12.638 到 1.12.681
    • com.databricks.databricks-sdk-java 从 0.27.0 到 0.53.0
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.18.2 到 2.18.3
    • com.github.luben.zstd-jni 从 1.5.6-10 到 1.5.7-6
    • com.google.flatbuffers.flatbuffers-java 从 24.3.25 到 25.2.10
    • com.google.guava.failureaccess 从 1.0.2 升级至 1.0.3
    • com.google.guava.guava 从 33.4.0-jre 到 33.4.8-jre
    • com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8 升级到 12.8.0.jre8
    • commons-cli.commons-cli 从 1.9.0 到 1.10.0
    • commons-codec.commons-codec 从 1.17.2 到 1.19.0
    • commons-fileupload.commons-fileupload 版本从 1.5 升级到 1.6.0
    • commons-io.commons-io 从 2.18.0 到 2.21.0
    • dev.ludovic.netlib.arpack 从 3.0.3 到 3.0.4
    • dev.ludovic.netlib.blas 从 3.0.3 升级到 3.0.4
    • dev.ludovic.netlib.lapack 从 3.0.3 到 3.0.4
    • io.dropwizard.metrics.metrics-annotation 已从 4.2.30 升级到 4.2.37
    • io.dropwizard.metrics.metrics-core 已从 4.2.30 升级到 4.2.37
    • io.dropwizard.metrics.metrics-graphite 从 4.2.30 到 4.2.37
    • io.dropwizard.metrics.metrics-healthchecks 从 4.2.30 升级到 4.2.37
    • io.dropwizard.metrics.metrics-jmx 从 4.2.30 升级到 4.2.37
    • io.dropwizard.metrics.metrics-json 从 4.2.30 到 4.2.37
    • io.dropwizard.metrics.metrics-jvm 从 4.2.30 到 4.2.37
    • io.dropwizard.metrics.metrics-servlets 从 4.2.30 到 4.2.37
    • io.delta.delta-sharing-client_2.13,从 1.3.10 到 1.3.11
    • io.netty.netty-all 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-buffer 从 4.1.118.Final 升级至 4.2.7.Final
    • io.netty.netty-codec 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-codec-http 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-codec-http2,从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-codec-socks 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-common 从 4.1.118.Final 升级至 4.2.7.Final
    • io.netty.netty-handler 从《4.1.118.Final》到《4.2.7.Final》
    • io.netty.netty-handler-proxy 版本从 4.1.118.Final 升级到 4.2.7.Final
    • io.netty.netty-resolver 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-tcnative-boringssl-static 从 2.0.70.Final-db-r0-windows-x86_64 更新至 2.0.74.Final-db-r0-windows-x86_64
    • io.netty.netty-tcnative-classes 从 2.0.70.Final 到 2.0.74.Final
    • io.netty.netty-transport 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-transport-classes-epoll 从 4.1.118. Final 升级至 4.2.7.Final
    • io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 到 4.2.7.Final
    • io.netty.netty-transport-native-epoll 从 4.1.118.Final-linux-x86_64 升级至 4.2.7.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 从 4.1.118.Final-osx-x86_64 到 4.2.7.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.2.7.Final
    • joda-time.joda-time 从 2.13.0 到 2.14.0
    • org.apache.arrow.arrow-format 从 18.2.0 到 18.3.0
    • org.apache.arrow.arrow-memory-core 从 18.2.0 到 18.3.0
    • org.apache.arrow.arrow-memory-netty 从 18.2.0 到 18.3.0
    • org.apache.arrow.arrow-memory-netty-buffer-patch 从 18.2.0 到 18.3.0
    • org.apache.arrow.arrow-vector 从 18.2.0 到 18.3.0
    • org.apache.avro.avro 从 1.12.0 到 1.12.1
    • org.apache.avro.avro-ipc 从 1.12.0 到 1.12.1
    • org.apache.avro.avro-mapred 从 1.12.0 到 1.12.1
    • org.apache.commons.commons-collections4 从 4.4 到 4.5.0
    • org.apache.commons.commons-compress 从 1.27.1 更新到 1.28.0
    • org.apache.commons.commons-lang3 从 3.17.0 到 3.19.0
    • org.apache.commons.commons-text 从 1.13.0 到 1.14.0
    • org.apache.curator.curator-client 从 5.7.1 到 5.9.0
    • org.apache.curator.curator-framework 从 5.7.1 到 5.9.0
    • org.apache.curator.curator-recipes 从 5.7.1 到 5.9.0
    • org.apache.datasketches.datasketches-java 从 6.1.1 到 6.2.0
    • org.apache.hadoop.hadoop-client-runtime 从 3.4.1 到 3.4.2
    • org.apache.orc.orc-core 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
    • org.apache.orc.orc-format 从 1.1.0-shaded-protobuf 到 1.1.1-shaded-protobuf
    • org.apache.orc.orc-mapreduce 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
    • org.apache.orc.orc-shims 从 2.1.1 到 2.2.0
    • org.apache.xbean.xbean-asm9-shaded 已从 4.26 升级到 4.28
    • org.apache.zookeeper.zookeeper,从 3.9.3 到 3.9.4
    • org.apache.zookeeper.zookeeper-jute 从 3.9.3 到 3.9.4
    • org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 10.0.26
    • org.eclipse.jetty.jetty-webapp 从版本 9.4.53.v20231009 升级至版本 10.0.26
    • org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 10.0.26
    • org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.22.1
    • org.objenesis.objenesis 版本从 3.3 更新到 3.4
    • org.scala-lang.modules.scala-xml_2.13 从 2.3.0 到 2.4.0

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC下载 JDBC)。

系统环境

  • 操作系统:Ubuntu 24.04.4 LTS
  • Java:Zulu21.42+19-CA
  • Scala:2.13.16
  • Python:3.12.3
  • R:4.5.1
  • Delta Lake:4.2.0

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
aiohappyeyeballs 2.4.4 aiohttp 3.11.10 aiosignal 1.2.0
annotated-doc 0.0.4 annotated-types 0.7.0 anyio 4.7.0
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 arro3-core 0.6.5
arrow 1.3.0 asttokens 3.0.0 astunparse 1.6.3
async-lru 2.0.4 attrs 24.3.0 autocommand 2.2.2
azure-common 1.1.28 azure-core 1.37.0 azure-identity 1.20.0
azure-mgmt-core 1.6.0 azure-mgmt-web 8.0.0 azure-storage-blob 12.28.0
azure-storage-file-datalake 12.22.0 Babel 2.16.0 backports.tarfile 1.2.0
beautifulsoup4 4.12.3 black 24.10.0 bleach 6.2.0
blinker 1.7.0 boto3 1.40.45 botocore 1.40.45
cachetools 5.5.1 certifi 2025.4.26 cffi 1.17.1
chardet 4.0.0 charset-normalizer 3.3.2 单击 8.1.8
cloudpickle 3.0.0 通讯 0.2.1 contourpy 1.3.1
加密 44.0.1 cycler 0.11.0 Cython 3.1.5
databricks-agents 1.9.1 databricks-sdk 0.67.0 dataclasses-json 0.6.7
dbus-python 1.3.2 debugpy 1.8.11 修饰器 5.1.1
defusedxml 0.7.1 deltalake 1.1.4 Deprecated 1.2.18
distlib 0.3.9 docstring-to-markdown 0.11 执行中 1.2.0
facets-overview 1.1.1 fastapi 0.128.0 fastjsonschema 2.21.1
filelock 3.17.0 fonttools 4.55.3 fqdn 1.5.1
frozenlist 1.5.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.28.1 google-auth 2.47.0
google-cloud-core 2.5.0 Google 云存储 (Google Cloud Storage) 3.7.0 google-crc32c 1.8.0
google-resumable-media 2.8.0 googleapis-common-protos 1.65.0 grpcio 1.67.0
grpcio-status 1.67.0 h11 0.16.0 hf-xet 1.2.0
httpcore 1.0.9 httplib2 0.20.4 httpx 0.28.1
huggingface_hub 1.2.4 idna 3.7 importlib_metadata 8.5.0
inflect 7.3.1 iniconfig 1.1.1 ipyflow-core 0.0.209
ipykernel 6.29.5 ipython 8.30.0 ipython-genutils 0.2.0
ipywidgets 7.8.1 isodate (ISO标准日期) 0.7.2 isoduration 20.11.0
jaraco.collections 5.1.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.2 Jinja2 3.1.6
jiter 0.12.0 jmespath 1.0.1 joblib 1.4.2
json5 0.9.25 JSON补丁 1.33 jsonpointer 3.0.0
jsonschema 4.23.0 JSON模式规范 2023.7.1 jupyter-events 0.12.0
jupyter-lsp 2.2.5 jupyter_client 8.6.3 jupyter_core 5.7.2
jupyter_server 2.15.0 jupyter_server_terminals 0.5.3 jupyterlab 4.3.4
jupyterlab_pygments 0.3.0 jupyterlab_server 2.27.3 jupyterlab_widgets 1.1.11
kiwisolver 1.4.8 langchain-core 1.2.6 langchain-openai 1.1.6
langsmith 0.6.1 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 litellm 1.75.9 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.2 matplotlib 3.10.0
matplotlib-inline 0.1.7 mccabe 0.7.0 mdurl 0.1.0
mistune(一个用于Markdown解析的Python库) 3.1.2 mlflow-skinny 3.8.1 mmh3 5.2.0
more-itertools 10.3.0 msal 1.34.0 msal-extensions 1.3.1
multidict 6.1.0 mypy-extensions 1.0.0 nbclient 0.10.2
nbconvert 7.16.6 nbformat 5.10.4 nest-asyncio 1.6.0
nodeenv 1.10.0 笔记本 7.3.2 notebook_shim 0.2.4
numpy 2.1.3 oauthlib 3.2.2 openai 2.14.0
opentelemetry-api 1.39.1 opentelemetry-proto 1.39.1 opentelemetry-sdk 1.39.1
opentelemetry-semantic-conventions 0.60b1 orjson 3.11.5 overrides 7.4.0
封装 24.2 pandas 2.2.3 pandocfilters 1.5.0
parso 0.8.4 pathspec 0.10.3 替罪羊 1.0.1
pexpect 4.8.0 pillow 11.1.0 pip 25.0.1
platformdirs 4.3.7 plotly 5.24.1 pluggy 1.5.0
prometheus_client 0.21.1 prompt-toolkit(提示工具包) 3.0.43 propcache 0.3.1
proto-plus 1.27.0 protobuf 5.29.4 psutil 5.9.0
psycopg2 2.9.11 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 21.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.71 pycparser 2.21 pydantic 2.10.6
pydantic_core 2.27.2 pyflakes 3.2.0 Pygments 2.19.1
PyGObject 3.48.2 pyiceberg 0.10.0 PyJWT 2.10.1
pyodbc 5.2.0 pyparsing Python解析库 3.2.0 pyright 1.1.394
pyroaring 1.0.3 pytest 8.3.5 python-dateutil 2.9.0.post0
python-dotenv 1.2.1 python-json-logger 3.2.1 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.12.2 pytoolconfig 1.2.6 pytz 2024.1
PyYAML 6.0.2 pyzmq 26.2.0 referencing 0.30.2
regex 2024.11.6 请求 2.32.3 requests-toolbelt 1.0.0
rfc3339-validator 0.1.4 rfc3986-validator 0.1.1 rich 13.9.4
rope 1.13.0 rpds-py 0.22.3 RSA加密算法 4.9.1
s3transfer 0.14.0 scikit-learn(机器学习库) 1.6.1 scipy 1.15.3
seaborn 0.13.2 Send2Trash 1.8.2 setuptools 78.1.1
谢灵汉姆 1.5.4 six 1.17.0 smmap 5.0.0
sniffio 1.3.0 sortedcontainers 2.4.0 soupsieve 2.5
sqlparse 0.5.5 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11 栈数据 (stack-data) 0.6.3
starlette 0.50.0 strictyaml 1.7.3 tenacity 9.0.0
terminado 0.17.1 threadpoolctl 3.5.0 tiktoken 0.12.0
tinycss2 1.4.0 tokenize_rt 6.1.0 tokenizers 0.22.2
tomli 2.0.1 tornado 6.5.1 tqdm 4.67.1
traitlets 5.14.3 typeguard 4.3.0 typer-slim 0.21.1
types-python-dateutil 2.9.0.20251115 typing-inspect 0.9.0 typing_extensions 4.12.2
tzdata 2024.1 ujson 5.10.0 无需人工干预的升级 0.1
uri-template 1.3.0 urllib3 2.3.0 uuid_utils 0.12.0
uvicorn 0.40.0 virtualenv 20.29.3 wadllib 1.3.6
wcwidth 0.2.5 webcolors 25.10.0 webencodings 0.5.1
websocket-client 1.8.0 whatthepatch (一种用于查看和编辑补丁文件的工具) 1.0.2 wheel 0.45.1
每当 0.7.3 widgetsnbextension 3.6.6 wrapt 1.17.0
yapf 0.40.2 yarl 1.18.0 zipp 3.21.0
zstandard 0.23.0

已安装的 R 库

R 库是从 PACKAGES 上的 Posit 包管理器 CRAN 快照安装的。

图书馆 版本 图书馆 版本 图书馆 版本
arrow 22.0.0 askpass 1.2.1 assertthat 0.2.1
backports 1.5.0 基础映像 4.5.1 base64enc 0.1-3
bigD 0.3.1 比特 4.6.0 bit64 4.6.0-1
bitops 1.0-9 blob 1.2.4 启动 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.10
bslib 0.9.0 cachem 1.1.0 callr 3.7.6
caret 7.0-1 cellranger 1.1.0 chron 2.3-62
7.3-22 cli 3.6.5 clipr 0.8.0
clock 0.7.3 群集 2.1.6 codetools 0.2-20
commonmark 2.0.0 编译器 4.5.1 config 0.3.2
感到矛盾 1.2.0 cpp11 0.5.2 蜡笔 1.5.3
凭据 2.0.3 curl 7.0.0 data.table 1.17.8
datasets 4.5.1 DBI 1.2.3 dbplyr 2.5.1
desc 1.4.3 devtools 2.4.6 diagram 1.6.5
diffobj 0.3.6 摘要 0.6.39 downlit 0.4.5
dplyr 1.1.4 dtplyr 1.3.2 e1071 1.7-16
省略号 0.3.2 评估 1.0.5 凡思 1.0.7
farver 2.1.2 fastmap 1.2.0 fontawesome 0.5.3
forcats 1.0.1 foreach 1.5.2 foreign 0.8-86
fs 1.6.6 future 1.68.0 future.apply 1.20.0
漱口 1.6.0 泛型 0.1.4 gert 2.2.0
ggplot2 4.0.1 gh 1.5.0 git2r 0.36.2
gitcreds 0.1.2 glmnet 4.1-10 globals 0.18.0
glue 1.8.0 googledrive 2.1.2 googlesheets4 1.1.2
gower 1.0.2 图形 4.5.1 grDevices 4.5.1
网格 4.5.1 gridExtra 2.3 gsubfn 0.7
gt 1.1.0 gtable 0.3.6 hardhat 1.4.2
避风港 2.5.5 highr 0.11 hms 1.1.4
htmltools 0.5.8.1 htmlwidgets 1.6.4 httpuv 1.6.16
httr 1.4.7 httr2 1.2.1 ids 1.0.1
ini 0.3.1 ipred 0.9-15 isoband 0.2.7
iterators 1.0.14 jquerylib 0.1.4 jsonlite 2.0.0
juicyjuice 0.1.0 KernSmooth 2.23-22 knitr 1.50
labeling 0.4.3 稍后 1.4.4 晶格 0.22-5
lava 1.8.2 生命周期 1.0.4 listenv 0.10.0
litedown 0.8 lubridate 1.9.4 magrittr 2.0.4
markdown 2.0 质量 7.3-60.0.1 矩阵 1.6-5
memoise 2.0.1 methods 4.5.1 mgcv 1.9-1
mime 0.13 miniUI 0.1.2 mlflow 3.6.0
ModelMetrics 1.2.2.2 modelr 0.1.11 nlme 3.1-164
nnet 7.3-19 numDeriv 2016.8-1.1 openssl 2.3.4
otel 0.2.0 parallel 4.5.1 parallelly 1.45.1
pillar 1.11.1 pkgbuild 1.4.8 pkgconfig 2.0.3
pkgdown 2.2.0 pkgload 1.4.1 plogr 0.2.0
plyr 1.8.9 praise 1.0.0 prettyunits 1.2.0
pROC 1.19.0.1 processx 3.8.6 prodlim 2025.04.28
profvis 0.4.0 progress 1.2.3 progressr 0.18.0
promises 1.5.0 proto 1.0.0 代理 0.4-27
ps 1.9.1 purrr 1.2.0 R6 2.6.1
ragg 1.5.0 随机森林 (randomForest) 4.7-1.2 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.1.0
RcppEigen 0.3.4.0.2 reactable 0.4.4 reactR 0.6.1
readr 2.1.6 readxl 1.4.5 recipes 1.3.1
rematch 2.0.0 rematch2 2.1.2 遥控器 2.5.0
reprex 2.1.1 reshape2 1.4.5 rlang 1.1.6
rmarkdown 2.30 RODBC 1.3-26 roxygen2 7.3.3
rpart 4.1.23 rprojroot 2.1.1 Rserve 1.8-15
RSQLite 2.4.4 rstudioapi 0.17.1 rversions 3.0.0
rvest 1.0.5 S7 0.2.1 sass 0.4.10
scales 1.4.0 选择器 0.4-2 sessioninfo 1.2.3
形状 1.4.6.1 shiny 1.11.1 sourcetools 0.1.7-1
sparklyr 1.9.3 SparkR 4.1.0 sparsevctrs 0.3.4
空间 7.3-17 splines 4.5.1 sqldf 0.4-11
SQUAREM 2021.1 统计数据 4.5.1 stats4 4.5.1
stringi 1.8.7 stringr 1.6.0 survival 3.5-8
swagger 5.17.14.1 sys 3.4.3 systemfonts 1.3.1
tcltk 4.5.1 testthat 3.3.0 textshaping 1.0.4
tibble 3.3.0 tidyr 1.3.1 tidyselect 1.2.1
tidyverse 2.0.0 timechange 0.3.0 timeDate 4051.111
tinytex 0.58 工具 4.5.1 tzdb 0.5.0
urlchecker 1.0.1 usethis 3.2.1 utf8 1.2.6
utils 4.5.1 uuid 1.2-1 V8 8.0.1
vctrs 0.6.5 viridisLite 0.4.2 vroom 1.6.6
waldo 0.6.2 whisker 0.4.1 withr 3.0.2
xfun 0.54 xml2 1.5.0 xopen 1.0.1
xtable 1.8-4 YAML 2.3.10 zeallot 0.2.0
zip (压缩文件) 2.3.3

已安装的 Java 和 Scala 库(Scala 2.13 群集版本)

群组标识符 工件编号 版本
antlr antlr 2.7.7
com.clearspring.analytics 数据流 2.9.8
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.53.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.13 0.4.15-11
com.esotericsoftware kryo-shaded 4.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.5.1
com.fasterxml.jackson.core jackson-annotations 2.18.2
com.fasterxml.jackson.core jackson-core 2.18.2
com.fasterxml.jackson.core jackson-databind 2.18.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.18.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.18.3
com.fasterxml.jackson.module jackson-module-paranamer 2.18.2
com.fasterxml.jackson.module jackson-module-scala_2.13 2.18.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.blemale scaffeine_2.13 4.1.0
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.7-6
com.github.virtuald curvesapi 1.08
com.github.wendykierp JTransforms 3.1
com.google.api.grpc proto-google-common-protos 2.5.1
com.google.auth google-auth-library-credentials 1.20.0
com.google.auth google-auth-library-oauth2-http 1.20.0
com.google.auto.value auto-value-annotations 1.10.4
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.11.0
com.google.crypto.tink tink 1.16.0
com.google.errorprone error_prone_annotations 2.36.0
com.google.flatbuffers flatbuffers-java 25.2.10
com.google.guava failureaccess 1.0.3
com.google.guava guava 33.4.8-jre
com.google.http-client google-http-client 1.43.3
com.google.http-client google-http-client-gson 1.43.3
com.google.j2objc j2objc-annotations 3.0.0
com.google.protobuf protobuf-java 3.25.5
com.google.protobuf protobuf-java-util 3.25.5
com.helger 探查器 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.lihaoyi sourcecode_2.13 0.1.9
com.microsoft.azure azure-data-lake-store-sdk(Azure 数据湖存储 SDK) 2.3.10
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre11
com.microsoft.sqlserver mssql-jdbc 12.8.0.jre8
com.ning compress-lzf (LZF压缩算法) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning Json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.13 0.4.13
com.twitter chill-java 0.10.0
com.twitter chill_2.13 0.10.0
com.twitter util-app_2.13 19.8.1
com.twitter util-core_2.13 19.8.1
com.twitter util-function_2.13 19.8.1
com.twitter util-jvm_2.13 19.8.1
com.twitter util-lint_2.13 19.8.1
com.twitter util-registry_2.13 19.8.1
com.twitter util-stats_2.13 19.8.1
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.13 3.9.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
com.zaxxer SparseBitSet 1.3
commons-cli commons-cli 1.10.0
commons-codec commons-codec 1.19.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.6.0
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.21.0
commons-lang(公共程序语言库) commons-lang(公共程序语言库) 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.4
dev.ludovic.netlib blas 3.0.4
dev.ludovic.netlib lapack (线性代数程序库) 3.0.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 2.0.2
io.delta delta-sharing-client_2.13 1.3.11
io.dropwizard.metrics 指标注释 4.2.37
io.dropwizard.metrics 核心指标 4.2.37
io.dropwizard.metrics metrics-graphite 4.2.37
io.dropwizard.metrics metrics-healthchecks 4.2.37
io.dropwizard.metrics metrics-jetty10 4.2.37
io.dropwizard.metrics metrics-jmx 4.2.37
io.dropwizard.metrics metrics-json 4.2.37
io.dropwizard.metrics metrics-jvm 4.2.37
io.dropwizard.metrics metrics-servlets 4.2.37
io.github.java-diff-utils java-diff-utils 4.15
io.netty netty-all 4.2.7.Final
io.netty netty-buffer 4.2.7.Final
io.netty Netty 编解码器 4.2.7.Final
io.netty netty-codec-base 4.2.7.Final
io.netty netty-codec-classes-quic 4.2.7.Final
io.netty Netty编解码压缩 4.2.7.Final
io.netty netty-codec-http 4.2.7.Final
io.netty netty-codec-http2 4.2.7.Final
io.netty netty-codec-http3 4.2.7.Final
io.netty netty-codec-marshalling 4.2.7.Final
io.netty netty-codec-native-quic 4.2.7.Final-linux-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-linux-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-aarch_64
io.netty netty-codec-native-quic 4.2.7.Final-osx-x86_64
io.netty netty-codec-native-quic 4.2.7.Final-windows-x86_64
io.netty netty-codec-protobuf 4.2.7.Final
io.netty netty-codec-socks 4.2.7.Final
io.netty netty-common 4.2.7.Final
io.netty netty-handler 4.2.7.Final
io.netty netty-handler-proxy 4.2.7.Final
io.netty netty-resolver 4.2.7.Final
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.74.Final-db-r0-windows-x86_64
io.netty netty-tcnative-classes 2.0.74.Final
io.netty netty-transport 4.2.7.Final
io.netty netty-transport-classes-epoll 4.2.7.Final
io.netty netty-transport-classes-io_uring 4.2.7.Final
io.netty netty-transport-classes-kqueue 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final
io.netty netty-transport-native-epoll 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-aarch_64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-riscv64
io.netty netty-transport-native-io_uring 4.2.7.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.2.7.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.2.7.Final
io.opencensus opencensus-api 0.31.1
io.opencensus opencensus-contrib-http-util 0.31.1
io.prometheus simpleclient 0.16.1-databricks
io.prometheus simpleclient_common 0.16.1-databricks
io.prometheus simpleclient_dropwizard 0.16.1-databricks
io.prometheus simpleclient_pushgateway 0.16.1-databricks
io.prometheus simpleclient_servlet 0.16.1-databricks
io.prometheus simpleclient_servlet_common 0.16.1-databricks
io.prometheus simpleclient_tracer_common 0.16.1-databricks
io.prometheus simpleclient_tracer_otel 0.16.1-databricks
io.prometheus simpleclient_tracer_otel_agent 0.16.1-databricks
io.prometheus.jmx 收集器 0.18.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.14.0
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.5
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.13.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow 箭头压缩 18.3.0
org.apache.arrow arrow-format 18.3.0
org.apache.arrow arrow-memory-core 18.3.0
org.apache.arrow arrow-memory-netty 18.3.0
org.apache.arrow arrow-memory-netty-buffer-patch 18.3.0
org.apache.arrow arrow-vector 18.3.0
org.apache.avro avro 1.12.1
org.apache.avro avro-ipc 1.12.1
org.apache.avro avro-mapred 1.12.1
org.apache.commons commons-collections4 4.5.0
org.apache.commons commons-compress(公共压缩库) 1.28.0
org.apache.commons commons-configuration2 2.11.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.19.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.14.0
org.apache.curator curator-client 5.9.0
org.apache.curator curator-framework 5.9.0
org.apache.curator curator-recipes 5.9.0
org.apache.datasketches datasketches-java 6.2.0
org.apache.datasketches datasketches-memory 3.0.2
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.4.2
org.apache.hive hive-beeline 2.3.10
org.apache.hive hive-cli 2.3.10
org.apache.hive hive-jdbc 2.3.10
org.apache.hive hive-llap-client 2.3.10
org.apache.hive hive-llap-common 2.3.10
org.apache.hive hive-serde 2.3.10
org.apache.hive hive-shims 2.3.10
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.10
org.apache.hive.shims hive-shims-common 2.3.10
org.apache.hive.shims hive-shims-scheduler 2.3.10
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.3
org.apache.logging.log4j log4j-1.2-api 2.24.3
org.apache.logging.log4j log4j-api 2.24.3
org.apache.logging.log4j log4j-core 2.24.3
org.apache.logging.log4j log4j-layout-template-json 2.24.3
org.apache.logging.log4j log4j-slf4j2-impl 2.24.3
org.apache.orc orc-core 2.2.0-shaded-protobuf
org.apache.orc orc-format 1.1.1-shaded-protobuf
org.apache.orc orc-mapreduce 2.2.0-shaded-protobuf
org.apache.orc orc-shims 2.2.0
org.apache.poi poi 5.4.1
org.apache.poi poi-ooxml 5.4.1
org.apache.poi poi-ooxml-full 5.4.1
org.apache.poi poi-ooxml-lite 5.4.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.16.0
org.apache.ws.xmlschema xmlschema-core 2.3.1
org.apache.xbean xbean-asm9-shaded 4.28
org.apache.xmlbeans xmlbeans 5.3.0
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.4
org.apache.zookeeper zookeeper-jute 3.9.4
org.checkerframework checker-qual 3.43.0
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-alpn-client 10.0.26
org.eclipse.jetty jetty-client 10.0.26
org.eclipse.jetty jetty-http 10.0.26
org.eclipse.jetty jetty-io 10.0.26
org.eclipse.jetty jetty-jndi 10.0.26
org.eclipse.jetty jetty-plus 10.0.26
org.eclipse.jetty jetty-proxy 10.0.26
org.eclipse.jetty jetty-security 10.0.26
org.eclipse.jetty jetty-server 10.0.26
org.eclipse.jetty jetty-servlet 10.0.26
org.eclipse.jetty jetty-servlets 10.0.26
org.eclipse.jetty jetty-util 10.0.26
org.eclipse.jetty jetty-webapp 10.0.26
org.eclipse.jetty jetty-xml 10.0.26
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.41
org.glassfish.jersey.containers jersey-container-servlet-core 2.41
org.glassfish.jersey.core jersey-client 2.41
org.glassfish.jersey.core jersey-common 2.41
org.glassfish.jersey.core jersey-server 2.41
org.glassfish.jersey.inject jersey-hk2 2.41
org.hibernate.validator hibernate-validator 6.2.5.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.4.1.Final
org.jdbi jdbi 2.63.1
org.jline jline 3.27.1-jdk8
org.joda joda-convert 1.7
org.json4s json4s-ast_2.13 4.0.7
org.json4s json4s-core_2.13 4.0.7
org.json4s json4s-jackson-core_2.13 4.0.7
org.json4s json4s-jackson_2.13 4.0.7
org.json4s json4s-scalap_2.13 4.0.7
org.locationtech.jts jts-core 1.20.0
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.13 2.22.1
org.objenesis objenesis 3.4
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 1.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.13 2.13.16
org.scala-lang scala-library_2.13 2.13.16
org.scala-lang scala-reflect_2.13 2.13.16
org.scala-lang.modules scala-collection-compat_2.13 2.11.0
org.scala-lang.modules scala-java8-compat_2.13 0.9.1
org.scala-lang.modules scala-parallel-collections_2.13 1.2.0
org.scala-lang.modules scala-parser-combinators_2.13 2.4.0
org.scala-lang.modules scala-xml_2.13 2.4.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.13 1.18.0
org.scalactic scalactic_2.13 3.2.19
org.scalanlp breeze-macros_2.13 2.1.0
org.scalanlp breeze_2.13 2.1.0
org.scalatest 与ScalaTest兼容 3.2.19
org.scalatest scalatest-core_2.13 3.2.19
org.scalatest scalatest-diagrams_2.13 3.2.19
org.scalatest scalatest-featurespec_2.13 3.2.19
org.scalatest scalatest-flatspec_2.13 3.2.19
org.scalatest scalatest-freespec_2.13 3.2.19
org.scalatest scalatest-funspec_2.13 3.2.19
org.scalatest scalatest-funsuite_2.13 3.2.19
org.scalatest scalatest-matchers-core_2.13 3.2.19
org.scalatest scalatest-mustmatchers_2.13 3.2.19
org.scalatest scalatest-propspec_2.13 3.2.19
org.scalatest scalatest-refspec_2.13 3.2.19
org.scalatest scalatest-shouldmatchers_2.13 3.2.19
org.scalatest scalatest-wordspec_2.13 3.2.19
org.scalatest scalatest_2.13 3.2.19
org.slf4j jcl-over-slf4j 2.0.16
org.slf4j jul-to-slf4j 2.0.16
org.slf4j slf4j-api 2.0.16
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.8.0
org.tukaani xz 1.10
org.typelevel algebra_2.13 2.8.0
org.typelevel cats-kernel_2.13 2.8.0
org.typelevel spire-macros_2.13 0.18.0
org.typelevel spire-platform_2.13 0.18.0
org.typelevel spire-util_2.13 0.18.0
org.typelevel spire_2.13 0.18.0
(org.wildfly.openssl) wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.5.0-linux-x86_64
stax stax-api 1.0.1