注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.3.2 提供支持的 Databricks Runtime 12.2 LTS 的相关信息。
此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。 Databricks 于 2023 年 3 月发布了此版本。
行为更改
[重大变更] 新版Python需要更新Databricks Connect V1 Python客户端
注意
后续更新将 Databricks Runtime 12.2 LTS 中的 Python 版本移动到 3.9.21。 3.9.21 版本不会引入任何行为更改。
若要应用所需的安全修补程序，Databricks Runtime 12.2 LTS 中的Python版本从 3.9.5 升级到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此使用 Databricks Connect V1 与 Databricks Runtime 12.2 LTS 进行Python的任何客户端都必须更新为 Python 3.9.7 或更高版本。
新增功能和改进
- Python从 3.9.19 升级到 3.9.21
- Delta Lake 架构演变支持在合并语句中指定源列
- 在采用共享访问模式的集群上支持结构化流式处理工作负载
- 预测性 I/O 的新功能
- 隐式横向列别名支持
- 新的 forEachBatch 功能
- 联合查询的标准化连接选项
- 用于数组管理的扩展 SQL 函数库
- 用于匿名化字符串的新 mask 函数
- 常见错误条件现在返回 SQLSTATE
- 在 FROM 子句中调用生成器函数
- 协议缓冲区支持已正式发布
- 笔记本变量和函数的“转到定义”功能
- 笔记本程序自动导入库的快速修正
- Bug 修复
Python从 3.9.19 升级到 3.9.21
Databricks Runtime 12.2 LTS 中的Python版本从 3.9.19 更新为 3.9.21。
Delta Lake 架构演变支持在合并语句中指定源列
在启用架构演化后，现在可以在合并语句的插入或更新操作中指定仅存在于源表中的列。 在 Databricks Runtime 12.1 及更低版本中，只能使用 INSERT * 或 UPDATE SET * 操作通过合并进行架构演变。 请参阅 合并的自动架构演变。
在采用共享访问模式的集群上支持结构化流式处理工作负载
现在，您可以在采用标准访问模式的计算环境中使用结构化流式处理与 Unity Catalog 进行交互。 某些限制适用。 参见 Unity Catalog 支持哪些结构化流式处理功能？。
预测性 I/O 的新功能
Photon 现在支持 Foreachbatch 接收器。 从源流式传输并合并到增量表或写入多个接收器的工作负载现在可以受益于 Photon 化的 Foreachbatch 接收器。
隐式横向列别名支持
Azure Databricks现在默认支持隐式横向列别名。 现在可以重用先前在同一 SELECT 列表中指定的表达式。 例如，在给定 SELECT 1 AS a、a + 1 AS b 的情况下，a 中的 a + 1 可以解析为先前定义的 1 AS a。 请查看名称解析来更详细地了解解析顺序。
若要关闭此功能，可以将 spark.sql.lateralColumnAlias.enableImplicitResolution 设置为 false。
新的 forEachBatch 功能
使用 foreachBatch 写入到数据接收器时，现在支持 Photon。
查询联合的标准化连接选项
现在可以使用一组统一的选项（主机、端口、数据库、用户、密码）连接到查询联合中支持的数据源。
Port 是可选的，除非另有指定，否则使用每个数据源的默认端口号。
用于数组管理的扩展 SQL 函数库
现在可以使用 array_compact 从数组中删除所有 NULL 元素。 若要将元素追加到数组，请使用 array_append。
用于匿名化字符串的新 mask 函数
调用 mask 函数可以匿名化敏感字符串值。
常见错误条件现在返回 SQLSTATE
Databricks Runtime 现在记录了大多数错误条件的 SQLSTATE 值，这些值可以用于以符合 SQL 标准的方式进行错误测试。
在 FROM 子句中调用生成器函数
现在可以在查询的常规 FROM 子句中调用表值生成器函数，例如 explode。 这使得生成器函数调用与其他内置的和用户定义的表函数保持一致。
协议缓冲区支持已正式发布
可以使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。
笔记本变量和函数的“转到定义”功能
在笔记本中，可以通过右键单击变量或函数名称来快速跳转到变量、函数的定义或语句背后的代码。
针对自动导入库的笔记本快速修复
Databricks Notebooks 现在提供针对自动导入库的快速修复功能。 如果忘记导入 pandas 之类的库，请将鼠标悬停在带下划线的语法警告上，然后单击“快速修复”，此功能要求在工作区中启用 Databricks 助手。
缺陷修复
- 改进了与
update、delete和merge命令相关的空事务的 Delta 提交行为一致性。 在WriteSerializable隔离级别，不会导致任何更改的命令现在会创建一个空提交。 在Serializable隔离级别，此类空事务现在不会创建提交。
行为更改
新的横向列别名功能的行为变更
新的横向列别名功能在名称解析期间针对以下情况引入了行为变更：
- 横向列别名现在优先于同名的关联引用。 例如，对于查询
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)，内部c1 AS c2中的c1在过去会解析为关联引用t.c1，但现在会更改为横向列别名1 AS c1。 该查询现在返回NULL。 - 横向列别名现在优先于同名的函数参数。 例如，对于函数
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x，函数主体中的x在过去会解析为函数参数 x，但现在会更改为函数主体中的横向列别名x + 1。 查询SELECT * FROM func(1)现在返回2, 2。 - 若要关闭横向列别名功能，请将
spark.sql.lateralColumnAlias.enableImplicitResolution设置为false。 有关详细信息，请参阅名称解析。
软件库升级
- 升级Python库：
- filelock 已从 3.8.2 升级到 3.9.0
- joblib 已从 1.1.0 升级到 1.1.1
- platformdirs 已从 2.6.0 升级到 2.6.2
- whatthepatch 已从 1.0.3 升级到 1.0.4
- 升级了 R 库：
- class 已从 7.3-20 升级到 7.3-21
- codetools 已从 0.2-18 升级到 0.2-19
- MASS 已从 7.3-58 升级到 7.3-58.2
- nlme 已从 3.1-160 升级到 3.1-162
- Rserve 已从 1.8-11 升级到 1.8-12
- SparkR 已从 3.3.1 升级到 3.3.2
行为更改
- 在使用定义的位置创建架构时，用户现在需要对任何文件拥有
SELECT和MODIFY特权。
Apache Spark
Databricks Runtime 12.2 包括 Apache Spark 3.3.2。 此版本包括以前版本中包含的所有 Spark 修复和改进，以及以下内容：
- [SPARK-42416] [ SC-123205][sc-122851][SQL] 数据集操作不应重新解析已分析过的逻辑计划
- [SPARK-41848] 撤销“[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] 修复因 TaskResourceProfile 导致的任务过度调度问题”
- [SPARK-42162] [ SC-122711][es-556261] 引入 MultiCommutativeOp 表达式作为内存优化，以规范化大型交换表达式树
- [SPARK-42406] [ SC-122998][protobuf][Cherry-pick] 修复 Protobuf 函数的递归深度设置
- [SPARK-42002] [SC-122476][connect][PYTHON] 实现 DataFrameWriterV2
- [SPARK-41716] [SC-122545][connect] 将 Catalog 中的 _catalog_to_pandas 重命名为 _execute_and_fetch
- [SPARK-41490] [SC-121774][sql] 为_LEGACY_ERROR_TEMP_2441分配名称
- [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] 实现 Catalog.cacheTable、isCached 和 uncache
- [SPARK-42191] [SC-121990][sql] 支持 UDF ‘luhn_check’
- [SPARK-42253] [ SC-121976][python] 添加用于检测重复错误类的测试
- [SPARK-42268] [SC-122251][connect][PYTHON] 在 proto 中添加 UserDefinedType
-
[SPARK-42231] [SC-121841][sql] 转换为
MISSING_STATIC_PARTITION_COLUMNinternalError - [SPARK-42136] [SC-122554] 重构 BroadcastHashJoinExec 输出分区计算
-
[SPARK-42158] [SC-121610][sql] 将
_LEGACY_ERROR_TEMP_1003集成到FIELD_NOT_FOUND - [SPARK-42192] [12.x][sc-121820][PYTHON] 将 TypeError 从 pyspark/sql/dataframe.py 迁移到 PySparkTypeError
- [SPARK-35240] 回滚“[SC-118242][ss] 使用 CheckpointFileManager …
- [SPARK-41488] [ SC-121858][sql] 将名称分配给_LEGACY_ERROR_TEMP_1176（和 1177）
-
[SPARK-42232] [SC-122267][sql] 重命名错误类：
UNSUPPORTED_FEATURE.JDBC_TRANSACTION - [SPARK-42346] [SC-122480][sql] 在子查询合并后重写 distinct 聚合
-
[SPARK-42306] [SC-122539][sql] 将
_LEGACY_ERROR_TEMP_1317集成到UNRESOLVED_COLUMN.WITH_SUGGESTION -
[SPARK-42234] [SC-122354][sql] 重命名错误类：
UNSUPPORTED_FEATURE.REPEATED_PIVOT -
[SPARK-42343] [SC-122437][core] 如果 SparkContext 已停止，则忽略
IOException中的handleBlockRemovalFailure - [SPARK-41295] [ SC-122442][spark-41296][SQL] 重命名错误类
- [SPARK-42320] [SC-122478][sql] 将名称分配到 _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][sql] 指定名称给_LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [ SC-121851][connect] SparkConnectClient 现在支持重试策略
- [SPARK-38728] [SC-116723][sql] 测试错误类：FAILED_RENAME_PATH
- [SPARK-40005] [12.X] PySpark 中的自包含示例
- [SPARK-39347] [SC-122457][ss] 修复事件时间 < 为 0 时的时段计算错误
-
[SPARK-42336] [ SC-122458][core] 在 ResourceAllocator 中使用
getOrElse()而不是contains() - [SPARK-42125] [SC-121827][connect][PYTHON] Spark Connect 中的 Pandas UDF
- [SPARK-42217] [SC-122263][sql] 在包含窗口的查询中支持隐式横向列别名
- [SPARK-35240] [ SC-118242][ss] 使用 检查点文件管理器 进行检查点文件操作
- [SPARK-42294] [ SC-122337][sql] 在 V2 表的 DESCRIBE 输出中包含列默认值
- [SPARK-41979] 撤销“[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺失的句点。”
- [SPARK-42286] [SC-122336][sql] 对于包含 CAST 的复杂表达式，回退到之前的代码生成路径
- [SPARK-42275] [SC-122249][connect][PYTHON] 在静态类型中避免使用内置列表和字典
- [SPARK-41985] [SC-122172][sql] 进一步集中化列解析规则
- [SPARK-42126] [SC-122330][python][CONNECT] 接受 Spark Connect 中 Python标量 UDF 的 DDL 字符串中的返回类型
- [SPARK-42197] [SC-122328][sc-121514][CONNECT] 重用 JVM 初始化，并在远程本地模式中分别设置配置组
- [SPARK-41575] [SC-120118][sql] 将名称分配给_LEGACY_ERROR_TEMP_2054
- [SPARK-41985] 撤销“[SC-122172][sql] 进一步集中化列解析规则”
- [SPARK-42123] [ SC-122234][sc-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 输出中包含列默认值
- [SPARK-41985] [SC-122172][sql] 进一步集中化列解析规则
- [SPARK-42284] [ SC-122233][connect] 确保在运行客户端测试之前生成连接服务器程序集 - SBT
-
[SPARK-42239] [SC-121790][sql] 集成
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY -
[SPARK-42278] [SC-122170][sql] DS V2 下推支持 JDBC 方言自行编译
SortOrder - [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics 应负责 Python UDAF
- [SPARK-41979] 撤销“[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺失的句点。”
- [SPARK-42224] [12.x][sc-121708][CONNECT] 将 TypeError 迁移到 Spark Connect 函数的错误框架
- [SPARK-41712] [12.x][sc-121189][PYTHON][connect] 将 Spark Connect 错误迁移到 PySpark 错误框架。
- [SPARK-42119] [SC-121913][sc-121342][SQL] 添加内置表值函数 inline 和 inline_outer
- [SPARK-41489] [SC-121713][sql] 将名称分配给_LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] 简介 PySparkValueError 和 PySparkTypeError
- [SPARK-42081] [ SC-121723][sql] 改进计划更改验证
- [SPARK-42225] [ 12.x][sc-121714][CONNECT] 添加 SparkConnectIllegalArgumentException 以精确处理 Spark Connect 错误。
-
[SPARK-42044] [12.x][sc-121280][SQL] 修复
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY的错误消息不正确的问题 - [SPARK-42194] [12.x][sc-121712][PS] 使用 Series 创建数据帧时允许列参数。
- [SPARK-42078] [12.x][sc-120761][PYTHON] 将 JVM 引发的错误迁移到 PySparkException 中。
- [SPARK-42133] [12.x][sc-121250] 向 SparkConnect Scala 客户端添加基本数据集 API 方法
- [SPARK-41979] [12.x][sc-121190][SQL] 为错误类中的错误消息添加缺失的句点。
- [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect 中的标量内联 Python UDF
- [SPARK-42051] [SC-121994][sql] HiveGenericUDF 的代码生成支持
- [SPARK-42257] [ SC-121948][core] 删除未使用的变量外部排序器
- [SPARK-41735] [SC-121771][sql] 将 SparkListenerSQLExecutionEnd 的值从 STANDARD 改为 MINIMAL
-
[SPARK-42236] [SC-121882][sql] 精简
NULLABLE_ARRAY_OR_MAP_ELEMENT -
[SPARK-42233] [SC-121775][sql] 改进
PIVOT_AFTER_GROUP_BY的错误消息 -
[SPARK-42229] [ SC-121856][core] 将
SparkCoreErrors迁移到错误类 - [SPARK-42163] [SC-121839][sql] 修复不可折叠数组索引或映射键的模式剪枝问题
- [SPARK-40711] [SC-119990][sql] 为窗口添加溢出大小指标
-
[SPARK-42023] [SC-121847][spark-42024][CONNECT][python] 使
createDataFrame支持AtomicType -> StringType强制转换 - [SPARK-42202] [SC-121837][connect][Test] 改进端到端测试服务器的停止逻辑
- [SPARK-41167] [SC-117425][sql] 通过创建平衡的表达式树谓词来提升多重 LIKE 查询的性能
- [SPARK-41931] [ SC-121618][sql] 为不完整的复杂类型定义提供更好的错误消息
- [SPARK-36124] [SC-121339][sc-110446][SQL] 通过 UNION 支持具有相关性的子查询
- [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引入 SASL 重试计数
-
[SPARK-42157] [SC-121264][core]
spark.scheduler.mode=FAIR应提供公平调度器 - [SPARK-41572] [SC-120772][sql] 将名称分配到 _LEGACY_ERROR_TEMP_2149
-
[SPARK-41983] [SC-121224][sql] 重命名并改进
NULL_COMPARISON_RESULT的错误信息 -
[SPARK-41976] [SC-121024][sql] 改进针对
INDEX_NOT_FOUND的错误消息 - [SPARK-41994] [SC-121210][sc-120573] 分配 SQLSTATE 值 (1/2)
- [SPARK-41415] [SC-121117][3.3] SASL 请求重试
- [SPARK-38591] [SC-121018][sql] 添加 flatMapSortedGroups 和 cogroupSorted
-
[SPARK-41975] [SC-120767][sql] 改进
INDEX_ALREADY_EXISTS的错误信息 - [SPARK-42056] [ SC-121158][sql][PROTOBUF] 为 Protobuf 函数添加缺少的选项
-
[SPARK-41984] [SC-120769][sql] 重命名并改进
RESET_PERMISSION_TO_ORIGINAL的错误信息 - [SPARK-41948] [SC-121196][sql] 修复错误类 CANNOT_PARSE_JSON_FIELD 的 NPE 问题
-
[SPARK-41772] [SC-121176][connect][PYTHON] 修复
withField的 doctest 中列名错误 -
[SPARK-41283] [SC-121175][connect][PYTHON] 将
array_append添加到 Connect - [SPARK-41960] [SC-120773][sql] 将名称分配给 _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [ SC-121116][sql] 修复 getPartitionFiltersAndDataFilters（） 来处理没有引用属性的筛选器
-
[SPARK-42096] [ SC-121012][connect] 对
connect模块进行一些代码清理 -
[SPARK-42099] [ SC-121114][spark-41845][CONNECT][python] 修复
count(*)和count(col(*)) - [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL 模式：整数溢出时，Round/Bround 应返回错误
- [SPARK-42043] [SC-120968][connect] 带端到端测试的 Scala 客户端结果
- [SPARK-41884] [SC-121022][connect] 支持将简单元组用作嵌套行
-
[SPARK-42112] [SC-121011][sql][SS] 在
ContinuousWriteRDD#compute函数闭包dataWriter之前添加空值检查 - [SPARK-42077] [SC-120553][connect][PYTHON] 对于不支持的数据类型，字面量应抛出 TypeError
-
[SPARK-42108] [SC-120898][sql] 使分析器将
Count(*)转换为Count(1) -
[SPARK-41666] [SC-120928][sc-119009][PYTHON] 通过
sql()支持参数化 SQL - [SPARK-40599] [SC-120930][sql] 放宽 multiTransform 规则类型限制，允许替代项为任意类型的 Seq
-
[SPARK-41574] [ SC-120771][sql] 更新
_LEGACY_ERROR_TEMP_2009为INTERNAL_ERROR. - [SPARK-41579] [SC-120770][sql] 为_LEGACY_ERROR_TEMP_1249指派名称
-
[SPARK-41974] [SC-120766][sql] 将
INCORRECT_END_OFFSET转换为INTERNAL_ERROR - [SPARK-41530] [ SC-120916][sc-118513][CORE] 将 MedianHeap 重命名为 PercentileMap 并支持百分位
- [SPARK-41757] [ SC-120608][spark-41901][CONNECT] 修复 Column 类的字符串表示形式
- [SPARK-42084] [SC-120775][sql] 避免泄露“仅限限定访问”的限制
- [SPARK-41973] [SC-120765][sql] 为_LEGACY_ERROR_TEMP_1311分配名称
- [SPARK-42039] [SC-120655][sql] SPJ：删除 KeyGroupedPartitioning#partitionValuesOpt 中的选项
-
[SPARK-42079] [SC-120712][connect][PYTHON] 为
toDF和withColumnsRenamed重命名 proto 消息 - [SPARK-42089] [ SC-120605][connect][PYTHON] 修复嵌套 lambda 函数中的变量名称问题
- [SPARK-41982] [ SC-120604][sql] 类型字符串的分区不应被视为数值类型
- [SPARK-40599] [ SC-120620][sql] 将 multiTransform 方法添加到 TreeNode 以生成替代项
-
[SPARK-42085] [ SC-120556][connect][PYTHON] 使
from_arrow_schema支持嵌套类型 - [SPARK-42057] [ SC-120507][sql][PROTOBUF] 修复错误报告中的异常处理方法。
-
[SPARK-41586] [12.x][所有测试][SC-120544][python] 介绍
pyspark.errorsPySpark 的错误类。 -
[SPARK-41903] [SC-120543][connect][PYTHON]
Literal应支持一维 ndarray -
[SPARK-42021] [SC-120584][connect][PYTHON] 使
createDataFrame支持array.array - [SPARK-41896] [ SC-120506][sql] 按行索引筛选返回空结果
- [SPARK-41162] [SC-119742][sql] 修复包含聚合操作的自连接中的反连接和半连接
- [SPARK-41961] [SC-120501][sql] 支持带 LATERAL 的表值函数
- [SPARK-41752] [ SC-120550][sql][UI] 将嵌套执行项汇集到根执行项之下
- [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] 字面量应支持 NumPy 数据类型
- [SPARK-42028] [SC-120344][connect][PYTHON] 截断纳秒级时间戳
- [SPARK-42011] [SC-120534][connect][PYTHON] 实现 DataFrameReader.csv
-
[SPARK-41990] [SC-120532][sql] 在 V1 到 V2 筛选器转换中使用
FieldReference.column而不是apply - [SPARK-39217] [SC-120446][sql] 使 DPP 支持修剪侧的 Union 操作
-
[SPARK-42076] [SC-120551][connect][PYTHON] 将数据转换
arrow -> rows拆分为conversion.py -
[SPARK-42074] [SC-120540][sql] 在
KryoSerializer中启用TPCDSQueryBenchmark以强制实施 SQL 类注册 - [SPARK-42012] [SC-120517][connect][PYTHON] 实现 DataFrameReader.orc
-
[SPARK-41832] [SC-120513][connect][PYTHON] 修复
DataFrame.unionByName，添加 allow_missing_columns -
[SPARK-38651] [SC-120514] [SQL] 添加
spark.sql.legacy.allowEmptySchemaWrite -
[SPARK-41991] [SC-120406][sql]
CheckOverflowInTableInsert应接受 ExpressionProxy 作为子级 - [SPARK-41232] [ SC-120073][sql][PYTHON] 添加“array_append”函数
- [SPARK-42041] [ SC-120512][spark-42013][CONNECT][python] DataFrameReader 应支持路径列表
-
[SPARK-42071] [SC-120533][core] 注册
scala.math.Ordering$Reverse到 KyroSerializer - [SPARK-41986] [SC-120429][sql] 在 SinglePartition 上引入洗牌操作
- [SPARK-42016] [SC-120428][connect][PYTHON] 启用与嵌套列相关的测试
-
[SPARK-42042] [ SC-120427][connect][PYTHON]
DataFrameReader应支持 StructType 架构 -
[SPARK-42031] [SC-120389][core][SQL] 清理
remove个无需重写的方法 -
[SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] 使
createDataFrame(rows/lists/tuples/dicts)支持嵌套类型 - [SPARK-41437] [SC-117601][sql][ALL TESTS] 对于 v1 写入回退，不要对输入查询进行两次优化
-
[SPARK-41840] [ SC-119719][connect][PYTHON] 添加缺少的别名
groupby - [SPARK-41846] [SC-119717][connect][PYTHON] 为窗口函数启用 doctests
- [SPARK-41914] [SC-120094][sql] FileFormatWriter 在访问 outputOrdering 之前会将 AQE 计划实例化
- [SPARK-41805] [ SC-119992][sql] 在 WindowSpecDefinition 中重复使用表达式
- [SPARK-41977] [ SC-120269][spark-41978][CONNECT] SparkSession.range 以浮点作为参数
-
[SPARK-42029] [SC-120336][connect] 在
connect-common添加 Guava Shading 规则以避免启动失败 - [SPARK-41989] [SC-120334][python] 避免破坏来自 pyspark.pandas 的日志配置
- [SPARK-42003] [ SC-120331][sql] 减少 ResolveGroupByAll 中的重复代码
- [SPARK-41635] [SC-120313][sql] 修复“group by all”的错误报告
- [SPARK-41047] [SC-120291][sql] 改进 round 的文档
- [SPARK-41822] [ SC-120122][connect] 为 Scala/JVM 客户端设置 gRPC 连接
-
[SPARK-41879] [ SC-120264][connect][PYTHON] 使
DataFrame.collect支持嵌套类型 -
[SPARK-41887] [SC-120268][connect][PYTHON] 使
DataFrame.hint能够接受列表类型参数 - [SPARK-41964] [ SC-120210][connect][PYTHON] 添加不受支持的 IO 函数列表
- [SPARK-41595] [SC-120097][sql] 在 FROM 子句中支持生成器函数 explode/explode_outer
-
[SPARK-41957] [SC-120121][connect][PYTHON] 启用
DataFrame.hint的 doctest -
[SPARK-41886] [ SC-120141][connect][PYTHON]
DataFrame.intersectdoctest 输出的顺序不同 - [SPARK-41442] [SC-117795][sql][所有测试] 仅在与有效指标合并时更新 SQLMetric 值
- [SPARK-41944] [SC-120046][connect] 在本地远程模式开启时传递配置
-
[SPARK-41708] [ SC-119838][sql] 将 v1write 信息拉取到
WriteFiles -
[SPARK-41780] [SC-120000][sql] 当参数
regexp无效时，应抛出 INVALID_PARAMETER_VALUE.PATTERN 异常 - [SPARK-41889] [SC-119975][sql] 将根本原因关联到 invalidPatternError & 重构 INVALID_PARAMETER_VALUE 错误类
- [SPARK-41860] [ SC-120028][sql] 生成 AvroScanBuilder 和 JsonScanBuilder 事例类
- [SPARK-41945] [SC-120010][connect][PYTHON] Python：connect 客户端在使用 pyarrow.Table.to_pylist 时丢失了列数据
- [SPARK-41690] [ SC-119102][sc-119087][SQL][connect] 不可知编码器
- [SPARK-41354] [SC-119995][connect][PYTHON] 实现 RepartitionByExpression
-
[SPARK-41581] [SC-119997][sql] 更新
_LEGACY_ERROR_TEMP_1230为INTERNAL_ERROR -
[SPARK-41928] [SC-119972][connect][PYTHON] 为
functions添加不支持的列表 - [SPARK-41933] [ SC-119980][connect] 提供自动启动服务器的本地模式
- [SPARK-41899] [ SC-119971][connect][PYTHON] createDataFrame' 应尊重用户提供的 DDL 架构
-
[SPARK-41936] [SC-119978][connect][PYTHON] 使
withMetadata复用withColumnsproto - [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween、Window.rangeBetween 参数的类型检查与 PySpark 保持一致
-
[SPARK-41939] [SC-119977][connect][PYTHON] 添加不受支持的函数列表
catalog -
[SPARK-41924] [SC-119946][connect][PYTHON] 使 StructType 支持元数据并实现
DataFrame.withMetadata -
[SPARK-41934] [SC-119967][connect][PYTHON] 为
session -
[SPARK-41875] [SC-119969][connect][PYTHON] 添加测试用例
Dataset.to() - [SPARK-41824] [SC-119970][connect][PYTHON] 忽略 connect 的 explain 文档测试
-
[SPARK-41880] [ SC-119959][connect][PYTHON] 使函数
from_json接受非文本架构 -
[SPARK-41927] [SC-119952][connect][PYTHON] 为
GroupedData添加不受支持的列表 -
[SPARK-41929] [SC-119949][connect][PYTHON] 添加函数
array_compact -
[SPARK-41827] [SC-119841][connect][PYTHON] 使
GroupBy接受列列表 -
[SPARK-41925] [SC-119905][sql] 默认情况下启用
spark.sql.orc.enableNestedColumnVectorizedReader -
[SPARK-41831] [SC-119853][connect][PYTHON] 使
DataFrame.select接受列的列表 -
[SPARK-41455] [SC-119858][connect][PYTHON] 使
DataFrame.collect忽略时区信息 -
[SPARK-41923] [SC-119861][connect][PYTHON] 将
DataFrame.writeTo添加到不支持的列表中 - [SPARK-41912] [ SC-119837][sql] 子查询不应验证 CTE
-
[SPARK-41828] [ SC-119832][connect][PYTHON][12.x] 使
createDataFrame能够支持空数据帧 - [SPARK-41905] [SC-119848][connect] 支持在切片中使用字符串形式的名称
- [SPARK-41869] [SC-119845][connect] 在 dropDuplicates 中拒绝单个字符串
-
[SPARK-41830] [SC-119840][connect][PYTHON] 使
DataFrame.sample接受与 PySpark 相同的参数 - [SPARK-41849] [SC-119835][connect] 实现 DataFrameReader.text
- [SPARK-41861] [SC-119834][sql] 使 v2 版本的 ScanBuilders 的 build() 方法返回类型化的扫描
-
[SPARK-41825] [SC-119710][connect][PYTHON] 启用与
DataFrame.show相关的 doctests -
[SPARK-41855] [ SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] 使
createDataFrame能够正确处理 None/NaN -
[SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] 使
DataFrame.collect正确处理 None/NaN/Array/Binary - [SPARK-39318] [SC-119713][sql] 移除 tpch-plan-stability WithStats 的黄金文件
- [SPARK-41791] [SC-119745] 添加新的文件源元数据列类型
- [SPARK-41790] [ SC-119729][sql] 正确设置 TRANSFORM 读取器和编写器的格式
-
[SPARK-41829] [ SC-119725][connect][PYTHON] 在
Sort和sortWithinPartitions中添加缺少的排序参数。 - [SPARK-41576] [SC-119718][sql] 将名称分配给_LEGACY_ERROR_TEMP_2051
- [SPARK-41821][SC-119716][connect][PYTHON] 修复 DataFrame.describe 的文档测试
- [SPARK-41871] [ SC-119714][connect] DataFrame 提示参数可以是 str、float 或 int
- [SPARK-41720] [ SC-119076][sql] 将 UnresolvedFunc 重命名为 UnresolvedFunctionName
- [SPARK-41573] [SC-119567][sql] 将名称分配给 _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [ SC-119492][sql] 修复与Orc读取器中默认值相关的正确性问题
-
[SPARK-41582] [ SC-119482][sc-118701][CORE][sql] 重用
INVALID_TYPED_LITERAL而不是_LEGACY_ERROR_TEMP_0022
维护更新
请参阅 Databricks Runtime 12.2 维护更新。
系统环境
-
操作系统：Ubuntu 20.04.5 LTS
- 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
- Java：Zulu 8.68.0.21-CA-linux64
- Scala：2.12.15
- Python：3.9.21
- R：4.2.2
- Delta Lake：2.2.0
已安装Python库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | asttokens | 2.0.5 |
| attrs | 21.4.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
| beautifulsoup4 | 4.11.1 | 黑色 | 22.3.0 | 漂白剂 | 4.1.0 |
| boto3 | 1.21.32 | botocore | 1.24.32 | certifi | 2021.10.8 |
| cffi | 1.15.0 | chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 2.0.4 |
| 单击 | 8.0.4 | 加密 | 3.4.8 | 骑行者 | 0.11.0 |
| Cython | 0.29.28 | dbu-python | 1.2.16 | debugpy | 1.5.1 |
| 修饰器 | 5.1.1 | defusedxml | 0.7.1 | distlib | 0.3.6 |
| docstring-to-markdown | 0.11 | 入口点 | 0.4 | executing | 0.8.3 |
| 各个方面概述 | 1.0.0 | fastjsonschema | 2.16.2 | 文件锁 (filelock) | 3.9.0 |
| fonttools（字体工具） | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
| ipython | 8.5.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.1.1 | jsonschema | 4.4.0 | Jupyter客户端 | 6.1.12 |
| jupyter_core（Jupyter核心） | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
| matplotlib-inline | 0.1.2 | 麦卡贝 | 0.7.0 | mistune | 0.8.4 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 笔记本 | 6.4.8 | numpy | 1.21.5 | 包装 | 21.3 |
| 熊猫 | 1.4.2 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.3 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 枕头 | 9.0.1 | pip | 21.2.4 |
| platformdirs | 2.6.2 | plotly | 5.6.0 | pluggy | 1.0.0 |
| prometheus-client | 0.13.1 | prompt-toolkit | 3.0.20 | protobuf | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 7.0.0 | Python代码解析器 | 2.21 |
| pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
| pyodbc | 4.0.32 | pyparsing Python解析库 | 3.0.4 | pyright | 1.1.283 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
| 请求 | 2.27.1 | requests-unixsocket | 0.2.0 | 绳子 | 0.22.0 |
| s3transfer | 0.5.0 | scikit-learn（机器学习库） | 1.0.2 | scipy | 1.7.3 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 61.2.0 |
| 6 | 1.16.0 | soupsieve | 2.3.1 | ssh-import-id | 5.10 |
| 堆栈数据 | 0.2.0 | statsmodels | 0.13.2 | 毅力 | 8.0.1 |
| terminado | 0.13.1 | 测试路径 | 0.5.0 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tomli | 1.2.2 | 龙卷风 | 6.1 |
| traitlets | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | Web编码 | 0.5.1 | whatthepatch (一种用于查看和编辑补丁文件的工具) | 1.0.4 |
| wheel | 0.37.0 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
已安装的 R 库
R 库是从 2022-11-11 的 Microsoft CRAN 快照中安装的。 快照不再可用。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | 基础映像 | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.3 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| 扫帚 | 1.0.1 | bslib | 0.4.1 | 卡齐姆 | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-58 | 类 | 7.3-21 | cli | 3.4.1 |
| clipr | 0.8.0 | clock | 0.6.1 | 群集 | 2.1.4 |
| codetools | 0.2至19 | colorspace | 2.0-3 | commonmark | 1.8.1 |
| 编译器 | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 凭据 | 1.3.2 | curl | 4.3.3 |
| 数据表 (data.table) | 1.14.4 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.2.1 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | 摘要 | 0.6.30 | downlit | 0.4.2 |
| dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
| 省略号 | 0.3.2 | 评估 | 0.18 | fansi | 1.0.3 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.4.0 |
| forcats | 0.5.2 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.5.2 | 未来 | 1.29.0 |
| future.apply | 1.10.0 | gargle | 1.2.1 | 泛型 | 0.1.3 |
| 格尔特 | 1.9.1 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-4 | globals | 0.16.1 |
| 胶水 | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
| 网格 | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.9 | 赫姆斯 | 1.1.2 | HTML工具 | 0.5.3 |
| HTML小插件 | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.6 | 迭代器 | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
| 标记 | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| 熔岩 | 1.7.0 | 生命周期 | 1.0.3 | listenv | 0.8.0 |
| lubridate | 1.9.0 | magrittr | 2.0.3 | Markdown | 1.3 |
| MASS | 7.3-58.2 | 矩阵 | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | 默剧 | 0.12 |
| 迷你用户界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 2.0.4 | parallel | 4.2.2 |
| parallelly | 1.32.1 | 柱子 | 1.8.1 | pkgbuild (软件包构建工具) | 1.3.1 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.7 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.11.0 | promises | 1.2.0.1 | 原型 (proto) | 1.0.0 |
| 代理 | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.4 |
| 随机森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.1 | 食谱 | 1.0.3 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.18 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | Sass（CSS预处理器） | 0.4.2 | 磅秤 | 1.2.1 |
| 选择器 | 0.4-2 | sessioninfo | 1.2.2 | 形状 | 1.4.6 |
| shiny | 1.7.3 | sourcetools | 0.1.7 | sparklyr | 1.7.8 |
| SparkR | 3.3.2 | 空间 | 7.3-11 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021年1月 | 统计数据 | 4.2.2 |
| 统计数据4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
| 生存 | 3.4-0 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.5 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.1.1 | timeDate | 4021.106 |
| tinytex | 0.42 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| URL检查器 | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.2.2 | UUID（通用唯一识别码） | 1.1-0 | vctrs | 0.5.0 |
| viridisLite | 0.4.1 | vroom | 1.6.0 | 瓦尔多 | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.6 | zip | 2.2.2 |
已安装Java和 Scala 库（Scala 2.12 群集版本）
| 组标识符 | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.189 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.12.189 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.12.189 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | AWS Java SDK支持 | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces（Amazon Java SDK 工作空间） | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 数据流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 丁克 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 探查器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf (LZF压缩算法) | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.15 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.3 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer（Netty缓存） | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | 箭头向量 | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4（通用集合库） | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop客户端API | 3.3.4-databricks |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-encoding | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
| org.apache.parquet | parquet-jackson | 1.12.3-databricks-0002 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | 码头安全 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket客户端 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 注释 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.1.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| .rocksdb | rocksdbjni | 6.28.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| (org.wildfly.openssl) | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |