Databricks Runtime 15.1 (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.1 的相关信息。

Databricks 于 2024 年 4 月发布了此版本。

破坏性变更

对 Databricks Runtime 15.0 和 Databricks Runtime 15.0 机器学习 的支持将于 2024 年 5 月 31 日结束，这是因为在 15.0 版本中，pandas 库从 1.5.3 升级到 2.0.3，导致多个 Apache Spark API 出现重大变更。 有关重大更改的详细信息，请参阅 将 pandas Python 库降级到 1.5.3。 为了解决这种不兼容问题，Databricks 已发布 Databricks Runtime 15.1 和 Databricks Runtime 15.1 for 机器学习。 这些版本支持的功能与 15.0 版本相同，但 pandas 版本降级至 1.5.3。

使用 Databricks Runtime 15.0 版本的任何现有群集或作业会继续正常运行，但不会收到产品或安全更新。 你再也不能在 Databricks UI 中配置使用 Databricks Runtime 15.0 或 Databricks Runtime 15.0 ML 的新计算。 如果你不使用需要 pandas 2.0+ 的功能或 API，Databricks 建议你将这些工作负荷切换到 Databricks Runtime 15.1。

如果你使用的是仅在 pandas 2.0+ 中提供的功能或 API，且不使用任何受该版本影响的函数，Databricks 建议你切换到 Databricks Runtime 15.1，并使用集群或笔记本范围库来升级默认的 pandas 包。 例如，若要升级 Databricks 笔记本中的 pandas 库，请使用以下命令：

%pip install pandas==2.0.3

pandas Python 库降级到 1.5.3

在此版本中，pandas 库从版本 2.0.3 降级至 1.5.3。 之所以需要该降级，是因为 2.0.3 版 pandas 中的不兼容导致 Spark 函数上的某个 pandas API 出现错误。 下面列出了 pandas 2.0.3 版所影响的功能：

  • pyspark.date_range：缺少 closed 参数，导致现有代码调用此函数时出错。
  • 带有 MultiIndex 列的 GroupBy 的功能已发生更改，导致出现意外行为。
  • datetime 的某些 DatetimeIndex 属性（例如 day、month、year 等）返回 int32 数据类型，而不是 int64 数据类型。

PySpark spark.sql() 函数现在在处理无效的参数类型时会失败

在 Databricks Runtime 15.1 及更高版本中，传递给 args 函数的命名参数或位置参数的 spark.sql() 参数必须是字典或列表。 如果传递任何其他对象类型，将引发以下错误：PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。

在 DBFS 根目录中存储库的功能已弃用，默认处于禁用状态

为了提高Azure Databricks工作区中库的安全性，从 Databricks Runtime 15.1 开始，默认弃用 DBFS 根目录中的库文件并禁用。 Databricks 建议将所有库（包括Python库、JAR 文件和 Spark 连接器）上传到工作区文件、Unity 目录卷或使用包存储库。 请参阅有关上传库的建议。

若要重新启用在 DBFS 根目录中存储库，请设置以下 Spark 配置参数：spark.databricks.driver.dbfsLibraryInstallationAllowed true。

默认Python版本从 3.10 升级到 3.11

使用 Databricks Runtime 15.1 时，默认Python版本为 3.11.0。 有关升级Python库的列表，请参阅 Library 升级。

JDK 11 已删除

如之前公告的那样，JDK 11 已从 Databricks Runtime 15.1 及更高版本中移除。 Databricks 建议在升级到 Databricks Runtime 15.1 及更高版本时升级到 JDK 17。 请参阅 Databricks SDK for Java。

Python REPL 现在正常终止

借助 Databricks Runtime 15.1，笔记本的 Python REPL 进程现在在退出时正常终止。 这会使所有 atexit 挂钩都生效。 例如，在具有多个 Python 笔记本任务的工作流中，在第一个任务中注册的 atexit 挂钩在第二个 Python 笔记本任务运行之前执行。

新增功能和改进

*（星号）子句现在在 WHERE 子句中受支持

现可在 WHERE 子句中使用星号 (*) 子句以引用 SELECT 列表中的所有列。 例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。

spark.sql.json.enablePartialResults 配置现在默认启用

Spark 配置 spark.sql.json.enablePartialResults 现在默认启用，允许 JSON 分析程序正确处理复杂类型（如结构、映射和数组）的分析错误，而无需删除剩余字段。 此更改修复了使用列修剪的 JSON 数据源的一致性问题。

群集库现在支持 requirements.txt 文件

现在，可以使用存储在工作区文件或 Unity Catalog 卷中的 requirements.txt 文件安装群集库。 在 专用 和 标准 访问模式群集中 requirements.txt ，该文件可以引用其他文件。 在无隔离共享访问模式群集中，仅支持 PyPI 包。 请参阅计算范围的库。

Databricks CLI 现在可在 Web 终端中使用

现在，可以从笔记本中的 Web 终端使用 Databricks CLI。 笔记本必须附加到 专用 或 无隔离共享 访问模式中的群集。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。

将默认Python存储库添加到群集配置

在 Databricks Runtime 15.1 及更高版本中，可以在配置群集或定义群集策略时为群集和笔记本范围的库安装配置全局 pip index-url 和 extra-index-url 参数。 要执行此操作，请设置环境变量 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。

标准群集上可用的 Web 终端

在 Databricks Runtime 15.1 及更高版本中，可以在具有 标准 访问模式的群集上使用 Web 终端。

凭据透传和 Hive 元数据存储表访问控制已被弃用

凭据直通和 Hive 元存储表访问控制属于过时的数据治理模型。 升级到 Unity Catalog 可提供一个集中位置来管理和审核帐户中多个工作区的数据访问，从而简化数据的安全性和治理。 请参阅什么是 Unity Catalog？。

即将发布的 Databricks Runtime 版本中将取消对凭证传递和 Hive 元存储表访问控制的支持。

软件库升级

  • 升级Python库：
    • black 从 22.6.0 到 23.3.0
    • boto3 从 1.24.28 到 1.34.39
    • botocore 从 1.27.96 到 1.34.39
    • certifi 从 2022.12.7 到 2023.7.22
    • cryptography 从 39.0.1 到 41.0.3
    • databricks-sdk 从 0.1.6 升级到 0.20.0
    • distlib 从 0.3.7 到 0.3.8
    • googleapis-common-protos 从版本 1.62.0 升级到版本 1.63.0
    • grpcio 从 1.48.2 到 1.60.0
    • grpcio-status 从 1.48.1 到 1.60.0
    • importlib-metadata 已从 4.6.4 升级到 6.0.0
    • ipykernel 从 6.25.0 到 6.25.1
    • ipython 从 8.14.0 到 8.15.0
    • ipywidgets 从 7.7.2 到 8.0.4
    • jupyter_core 从 5.2.0 到 5.3.0
    • jupyterlab-widgets 从 1.0.0 到 3.0.5
    • matplotlib 从 3.7.0 到 3.7.2
    • pip 从 22.3.1 到 23.2.1
    • platformdirs 已从 2.5.2 升级到 3.10.0
    • protobuf 从 4.24.0 到 4.24.1
    • pyarrow 从 8.0.0 到 14.0.1
    • Pygments 从 2.11.2 到 2.15.1
    • pyodbc 从 4.0.32 到 4.0.38
    • requests 已从 2.28.1 升级到 2.31.0
    • s3transfer 从 0.6.2 到 0.10.0
    • scikit-learn 从 1.1.1 到 1.3.0
    • scipy 从 1.10.0 到 1.11.1
    • setuptools 从 65.6.3 到 68.0.0
    • statsmodels 从 0.13.5 到 0.14.0
    • tenacity 从 8.1.0 到 8.2.2
    • tornado 已从 6.1 升级为 6.3.2
    • typing_extensions 从 4.4.0 到 4.7.1
    • urllib3 从 1.26.14 到 1.26.16
    • virtualenv 从 20.16.7 到 20.24.2
    • widgetsnbextension 从 3.6.1 到 4.0.5
    • zipp 从 1.0.0 到 3.11.0
  • 升级了 R 库：
    • arrow 已从 12.0.1 升级到 14.0.0.2
    • askpass 从 1.1 到 1.2.0
    • base 已从 4.3.1 升级到 4.3.2
    • brew 已从 1.0-8 升级到 1.0-10
    • brio 从 1.1.3 到 1.1.4
    • bslib 从 0.5.0 到 0.6.1
    • cli 从 3.6.1 到 3.6.2
    • commonmark 已从 1.9.0 升级到 1.9.1
    • compiler 从 4.3.1 到 4.3.2
    • config 从 0.3.1 到 0.3.2
    • cpp11 从 0.4.4 到 0.4.7
    • credentials 已从 1.3.2 升级到 2.0.1
    • curl 从 5.0.1 到 5.2.0
    • data.table 从 1.14.8 到 1.15.0
    • datasets 已从 4.3.1 升级到 4.3.2
    • DBI 从 1.1.3 到 1.2.1
    • dbplyr 从 2.3.3 到 2.4.0
    • desc 已从 1.4.2 升级到 1.4.3
    • digest 已从 0.6.33 升级到 0.6.34
    • dplyr 从 1.1.2 到 1.1.4
    • e1071 从 1.7-13 到 1.7-14
    • evaluate 已从 0.21 升级到 0.23
    • fansi 从 1.0.4 到 1.0.6
    • fontawesome 从 0.5.1 到 0.5.2
    • fs 从 1.6.2 到 1.6.3
    • future 已从 1.33.0 升级到 1.33.1
    • future.apply 更新自 1.11.0 到 1.11.1
    • gargle 已从 1.5.1 升级到 1.5.2
    • gert 从 1.9.2 到 2.0.1
    • ggplot2 从 3.4.2 到 3.4.4
    • glmnet 从 4.1-7 到 4.1-8
    • glue 已从 1.6.2 升级到 1.7.0
    • graphics 已从 4.3.1 升级到 4.3.2
    • grDevices 从 4.3.1 到 4.3.2
    • grid 已从 4.3.1 升级到 4.3.2
    • gtable 从 0.3.3 到 0.3.4
    • hardhat 从 1.3.0 到 1.3.1
    • haven 已从 2.5.3 升级到 2.5.4
    • htmltools 从 0.5.5 到 0.5.7
    • htmlwidgets 从 1.6.2 到 1.6.4
    • httpuv 从 1.6.11 到 1.6.14
    • httr 从 1.4.6 到 1.4.7
    • httr2 从 0.2.3 到 1.0.0
    • jsonlite 从 1.8.7 到 1.8.8
    • knitr 从 1.43 到 1.45
    • 标记从 0.4.2 到 0.4.3
    • later 已从 1.3.1 升级到 1.3.2
    • lava 从 1.7.2.1 到 1.7.3
    • lifecycle 已从 1.0.3 升级到 1.0.4
    • listenv 从 0.9.0 到 0.9.1
    • lubridate 已从 1.9.2 升级到 1.9.3
    • markdown 已从 1.7 升级到 1.12
    • methods 从 4.3.1 到 4.3.2
    • openssl 从 2.0.6 到 2.1.1
    • parallel 已从 4.3.1 升级到 4.3.2
    • pkgbuild 从 1.4.2 到 1.4.3
    • pkgload 从 1.3.2.1 到 1.3.4
    • plyr 已从 1.8.8 升级到 1.8.9
    • prettyunits 从 1.1.1 到 1.2.0
    • pROC 从 1.18.4 到 1.18.5
    • processx 从 3.8.2 到 3.8.3
    • prodlim 从 2023.03.31 到 2023.08.28
    • progress 从 1.2.2 到 1.2.3
    • progressr 从 0.13.0 到 0.14.0
    • promises 已从 1.2.0.1 升级到 1.2.1
    • ps 从 1.7.5 到 1.7.6
    • purrr 从 1.0.1 到 1.0.2
    • ragg 从 1.2.5 到 1.2.7
    • Rcpp 从 1.0.11 到 1.0.12
    • RcppEigen 从 0.3.3.9.3 到 0.3.3.9.4
    • readr 从 2.1.4 到 2.1.5
    • 配方从 1.0.6 到 1.0.9
    • rematch 已从 1.0.1 升级到 2.0.0
    • remotes 已从 2.4.2 升级到 2.4.2.1
    • reprex 从 2.0.2 到 2.1.0
    • rlang 从 1.1.1 到 1.1.3
    • rmarkdown 从 2.23 到 2.25
    • RODBC 从 1.3-20 到 1.3-23
    • roxygen2 从 7.2.3 到 7.3.1
    • rprojroot 从 2.0.3 到 2.0.4
    • Rserve 从 1.8-11 到 1.8-13
    • RSQLite 从 2.3.1 到 2.3.5
    • sass 从 0.4.6 到 0.4.8
    • scales 已从 1.2.1 升级到 1.3.0
    • shiny 从 1.7.4.1 到 1.8.0
    • sparklyr 从 1.8.1 到 1.8.4
    • splines 已从 4.3.1 升级到 4.3.2
    • stats 已从 4.3.1 升级到 4.3.2
    • stats4 已从 4.3.1 升级到 4.3.2
    • stringi 从 1.7.12 到 1.8.3
    • stringr 从 1.5.0 到 1.5.1
    • systemfonts 从 1.0.4 到 1.0.5
    • tcltk 从 4.3.1 到 4.3.2
    • testthat 从 3.1.10 到 3.2.1
    • textshaping 从 0.3.6 到 0.3.7
    • tidyr 从 1.3.0 到 1.3.1
    • timechange 已从 0.2.0 升级到 0.3.0
    • timeDate 已从 4022.108 升级到 4032.109
    • tinytex 从 0.45 到 0.49
    • tools 已从 4.3.1 升级到 4.3.2
    • utf8 从 1.2.3 到 1.2.4
    • utils 从 4.3.1 到 4.3.2
    • uuid 从 1.1-0 到 1.2-0
    • vctrs 从 0.6.3 到 0.6.5
    • vroom 从 1.6.3 到 1.6.5
    • waldo 从 0.5.1 到 0.5.2
    • withr 从 2.5.0 到 3.0.0
    • xfun 从 0.39 到 0.41
    • xml2 从 1.3.5 到 1.3.6
    • yaml 从 2.3.7 到 2.3.8
    • zip 从 2.3.0 到 2.3.1
  • 升级Java库：
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.15.1 到 2.16.0
    • com.google.flatbuffers.flatbuffers-java 从 1.12.0 到 23.5.26
    • com.typesafe.config 从 1.2.1 到 1.4.3
    • org.apache.ant.ant 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-jsch 从 1.9.16 到 1.10.11
    • org.apache.ant.ant-launcher 从 1.9.16 到 1.10.11
    • org.apache.arrow.arrow-format 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-core 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-memory-netty 从 12.0.1 到 15.0.0
    • org.apache.arrow.arrow-vector 从 12.0.1 到 15.0.0
    • org.apache.avro.avro 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-ipc 从 1.11.2 到 1.11.3
    • org.apache.avro.avro-mapred 从 1.11.2 到 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-api 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-core 从 2.20.0 到 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl 从 2.20.0 到 2.22.1
    • org.postgresql.postgresql 从 42.6.0 到 42.6.1

Apache Spark

Databricks Runtime 15.1 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：

  • [SPARK-45527] [DBRRM-805][es-1073714] 还原“[SC-151626][core] 使用分数进行资源计算”
  • [SPARK-47102] [DBRRM-803][sc-158253][SQL] 添加 COLLATION_ENABLED 配置标志
  • [SPARK-46973] [ SC-158140][dbrrm-777][SQL] 当表位于 V1 表缓存中时跳过 V2 表查找
  • [SPARK-46808] [SC-154113][python] 使用自动排序函数优化Python中的错误类
  • [SPARK-47251] [SC-158291][python] 阻止args命令中sql参数的无效类型
  • [SPARK-47251] [SC-158121][python] 阻止 sql 命令的 args 参数中的无效类型
  • [SPARK-47108] [SC-157204][core] 在 CLIs 中显式设置 derby.connection.requireAuthentication 为 false
  • [SPARK-45599] [ SC-157537][core] 在 OpenHashSet 中使用对象相等性
  • [SPARK-47099] [SC-157352][sql] 使用ordinalNumber统一设置paramIndex错误类UNEXPECTED_INPUT_TYPE的值
  • [SPARK-46558] [SC-151363][connect] 提取帮助程序函数，以消除从 GrpcExceptionConverter 中的 ErrorParams 检索 MessageParameters 的重复代码
  • [SPARK-43117] [ SC-156177][connect] 使 ProtoUtils.abbreviate 支持重复字段
  • [SPARK-46342] [SC-150283][sql] 在sql中用IllegalStateException替换SparkException.internalError
  • [SPARK-47123] [ SC-157412][core] JDBCRDD 无法正确处理 getQueryOutputSchema 中的错误
  • [SPARK-47189] [SC-157667][sql] 调整列错误名称和文本
  • [SPARK-45789] [ SC-157101][sql] 支持 DESCRIBE TABLE 聚类列
  • [SPARK-43256] [SC-157699][sql] 删除错误类 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][python][CONNECT] sameSemantics 检查输入类型
  • [SPARK-47183] [SC-157660][python] 修复 sameSemantics 的错误类
  • [SPARK-47179] [ SC-157663][sql] 改进 SparkThrowableSuite 的错误消息以提高可调试性
  • [SPARK-46965] [SC-155791][core] 在 Utils.getLog 中校验 logType
  • [SPARK-46832] [SC-156774][sql] 引入 Collate 和 Collation 表达式
  • [SPARK-46946] [ SC-155721][sql] 支持在 DynamicPruning 中广播多个筛选键
  • [SPARK-47079] [ VARIANT-22][sc-157598][PYTHON][sql][CONNECT] 向 PySpark 添加 Variant 类型信息
  • [SPARK-47101] [ SC-157360][sql] 允许在顶级列名中使用逗号，并删除对嵌套类型定义的检查 HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][ss][UI] 修复流式处理 UI 说明中的拼写错误
  • [SPARK-47113] [SC-157348][core] 还原 SPARK-35878 的 S3A 终结点修复逻辑
  • [SPARK-47130] [SC-157462][core] 在清理驱动程序日志时使用 listStatus 绕过数据块位置信息
  • [SPARK-43259] [ SC-157368][sql] 为错误类命名为 _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][sql] TakeOrderedAndProjectExec 应初始化非安全投影
  • [SPARK-47137] [ SC-157463][python][CONNECT] 将 getAll 添加到 spark.conf，以便与 Scala 的功能奇偶校验
  • [SPARK-46924] [SC-154905][core] 修复 Master/HistoryServer 日志 UI 中的 Load New 按钮
  • [SPARK-47069] [SC-157370][python][CONNECT] 引入 spark.profile.show/dump以用于基于 SparkSession 的分析
  • [SPARK-46812] [ SC-157075][sql][PYTHON] 让 mapInPandas / mapInArrow 支持 ResourceProfile。
  • [SPARK-46833] [SC-155866][sql] 排序规则 - 引入CollationFactory，它为支持的排序规则提供比较和哈希规则
  • [SPARK-47057] [SC-157036][python] 重新收集 MyPy 数据测试
  • [SPARK-46934] [SC-157084][sql] ‌支持在 HMS 中对含特殊字符的结构类型进行读写往返操作
  • [SPARK-46727] [SC-153472][sql] 在 JDBC 方言中基于错误类实现 classifyException() 的移植
  • [SPARK-46964] [ SC-155740][sql] 更改 hllInvalidLgK 查询执行错误的签名，将整数作为第 4 个参数
  • [SPARK-46949] [SC-155719][sql] 通过 ResolveDefaultColumns 支持 CHAR/VARCHAR
  • [SPARK-46972] [ SC-155888][sql] 修复 V2SessionCatalog.createTable 中 char/varchar 的非对称替换
  • [SPARK-47014] [SC-156778][python][CONNECT] 实现用于 SparkSession 的 dumpPerfProfiles 和 dumpMemoryProfiles 方法
  • [SPARK-46689] [SC-156221][spark-46690][PYTHON][connect] 支持在 group/cogroup 中对 applyInPandas/applyInArrow 进行 v2 分析
  • [SPARK-47040] [ SC-156773][connect] 允许 Spark Connect 服务器脚本等待
  • [SPARK-46688] [SC-156113][spark-46691][PYTHON][connect] 支持在聚合 Pandas UDF 中进行 v2 分析
  • [SPARK-47004] [ SC-156499][connect] 向 ClientStreamingQuerySuite 添加了更多测试以提高 Scala 客户端测试覆盖率
  • [SPARK-46994] [ SC-156169][python] 重构 PythonWrite 以准备支持 Python 数据源流式写入
  • [SPARK-46979] [ SC-156587][ss] 添加对单独指定键和值编码器的支持，并为 RocksDB 状态存储提供程序中的每个 col 系列添加支持
  • [SPARK-46960] [ SC-155940][ss] 使用 TransformWithState 运算符测试多个输入流
  • [SPARK-46966] [ SC-156112][python] 为“analyze”方法添加 UDTF API 以指示要选择的输入表列的子集
  • [SPARK-46895] [ SC-155950][core] 将计时器替换为单线程计划执行程序
  • [SPARK-46967] [SC-155815][core][UI] 隐藏 Executors UI 中 Dead 执行程序的 Thread Dump 和 Heap Histogram
  • [SPARK-46512] [SC-155826][core] 优化在使用排序和组合时的随机读取。
  • [SPARK-46958] [ SC-155942][sql] 添加缺少的时区以强制默认值
  • [SPARK-46754] [ SC-153830][sql][AVRO] 修复 avro 表定义和写入选项中的压缩代码解析问题
  • [SPARK-46728] [SC-154207][python] 正确检查 Pandas 安装状态
  • [SPARK-43403] [SC-154216][ui] 在加载新的 SparkUI 之前，确保旧的 SparkUI 已从 HistoryServer 上分离。
  • [SPARK-39910] [SC-156203][sql] 在 DataSource 文件路径通配过程中，将路径资格验证委托给文件系统
  • [SPARK-47000] [SC-156123] Revert “[SC-156123][core] 使用 getTotalMemorySize…
  • [SPARK-46819] [ SC-154560][core] 将错误类别和状态移动到 JSON
  • [SPARK-46997] [SC-156175][core] 默认情况下启用spark.worker.cleanup.enabled
  • [SPARK-46865] [ SC-156168][ss] 添加对 TransformWithState 运算符的 Batch 支持
  • [SPARK-46987] [SC-156040][connect] ProtoUtils.abbreviate 避免不必要的 setField 操作
  • [SPARK-46970] [SC-155816][core] 使用 pattern matching 重写 OpenHashSet#hasher
  • [SPARK-46984] [SC-156024][python] 删除pyspark.copy_func
  • [SPARK-47000] [SC-156123][core] 在getTotalMemorySize中使用WorkerArguments
  • [SPARK-46980] [ SC-155914][sql][MINOR] 避免在数据帧端到端测试中使用内部 API
  • [SPARK-46931] Revert “[SC-155661][ps] 实现 {Frame, Series}.to_hdf”
  • [SPARK-46618] [SC-153828][sql] 改进针对 DATA_SOURCE_NOT_FOUND 错误的错误消息
  • [SPARK-46849] [ SC-154586][sql] 在列默认值上运行 CREATE TABLE 优化器
  • [SPARK-46911] [ SC-155724][ss] 向 StatefulProcessorHandleImpl 添加 deleteIfExists 运算符
  • [SPARK-43273] [SQL] 支持 parquet 的 lz4raw 压缩编解码器
  • [SPARK-47002] [ SC-156223][python] 如果 UDTF“analyze”方法“orderBy”字段意外返回字符串列表，则返回更好的错误消息
  • [SPARK-46890] [SC-155802][sql] 修复存在默认值和列修剪时的 CSV 解析 bug
  • [SPARK-46977] [ SC-155892][core] 从一个 NameNode 获取令牌失败的请求不应跳过后续令牌请求
  • [SPARK-46608] [SC-151806][sql] 还原 JdbcDialect.classifyException 的向后兼容性
  • [SPARK-46908] [ SC-155702][sql] 支持在 WHERE 子句中使用星号子句
  • [SPARK-46908] [ SC-155702][sql] 支持在 WHERE 子句中使用星号子句
  • [SPARK-46852] [SC-155665][ss] 移除显式密钥编码器的使用并将其隐式传递给 transformWithState 运算符的运算符
  • [SPARK-46864] [SC-155669][ss] 将任意 StateV2 加入到新的错误类框架
  • [SPARK-45807] [ SC-155706][sql] 调用 replaceView（..） 后返回视图
  • [SPARK-46899] [SC-154651][core] 在 spark.ui.killEnabled 为 false 时从 MasterWebUI 中移除 POST API
  • [SPARK-46868] [SC-154539][核心] 支持 Spark 工作节点日志用户界面
  • [SPARK-46931] [SC-155661][ps] 实现 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][core] 移除未使用的 updateSparkConfigFromProperties 和 isAbsoluteURI 在 o.a.s.u.Utils
  • [SPARK-46929] [ SC-155659][core][CONNECT][ss] 使用 ThreadUtils.shutdown 关闭线程池
  • [SPARK-46400] [ SC-155658][core][SQL] 如果本地 maven 存储库中存在损坏的文件，请跳过此缓存，然后重试
  • [SPARK-46932] [SC-155655] 清理 pyspark.pandas.test_* 中的导入
  • [SPARK-46683] [SC-154120] 编写生成子查询排列的子查询生成器，以提高测试覆盖率
  • [SPARK-46914] [ SC-154776][ui] 缩短历史记录页上摘要表中的应用名称
  • [SPARK-46831] [SC-154699][sql] 排序规则 - 通过增加 collationId 字段扩展 StringType 和 PhysicalStringType
  • [SPARK-46816] [SC-154415][ss] 为新的任意状态管理运算符、单个 valueState 类型、多个状态变量添加基本支持，对具有/没有更改日志检查点的 RocksDBStateStoreProvider 列系列添加底层支持
  • [SPARK-46925] [ SC-154890][python][CONNECT] 添加警告，指示安装进行内存分析的工具 memory_profiler。
  • [SPARK-46927] [SC-154904][python] 确保 assertDataFrameEqual 在没有 PyArrow 的情况下也能正常工作
  • [SPARK-46021] [SC-148987][core] 支持取消属于作业组的未来作业
  • [SPARK-46747] [SC-154789][sql] 避免在 getTableExistsQuery 中扫描 JDBC 方言
  • [SPARK-46904] [ SC-154704][ui] 修复历史记录 UI 摘要的显示问题
  • [SPARK-46870] [SC-154541][core] 支持 Spark 主日志界面 UI
  • [SPARK-46893] [ SC-154780][ui] 从 UI 说明中删除内联脚本
  • [SPARK-46910] [ SC-154760][python] 消除 PySpark 安装中的 JDK 要求
  • [SPARK-46907] [ SC-154736][core] 在 Spark History Server 中显示驱动程序日志位置
  • [SPARK-46902] [ SC-154661][ui] 修复由于未导出的 setAppLimit 而导致的 Spark History Server UI 问题
  • [SPARK-46687] [ SC-154725][python][CONNECT] 基于 SparkSession 的内存探查器的基本支持
  • [SPARK-46623] [ SC-153831][core][MLLIB][sql] 将 SimpleDateFormat 替换为 DateTimeFormatter
  • [SPARK-46875] [SC-154627][sql] 当 mode 为 null 时，NullPointException 应引发 not
  • [SPARK-46872] [SC-154543][core] 恢复 log-view.js 为非模块
  • [SPARK-46883] [SC-154629][core] 支持 /json/clusterutilization API
  • [SPARK-46886] [SC-154630][core] 默认启用spark.ui.prometheus.enabled
  • [SPARK-46873] [ SC-154638][ss] 不要为同一 Spark 会话重新创建新的 StreamingQueryManager
  • [SPARK-46829] [SC-154419][core] 从 SparkEnv 中删除 createExecutorEnv
  • [SPARK-46827] [SC-154280][core] 使RocksDBPersistenceEngine支持符号链接
  • [SPARK-46903] [SC-154662][core] 支持 Spark History Server 日志 UI
  • [SPARK-46874] [ SC-154646][python] 移除 pyspark.pandas 中的 assertDataFrameEqual 依赖项
  • [SPARK-46889] [SC-154639][core] 验证 spark.master.ui.decommission.allow.mode 设置
  • [SPARK-46850] [SC-154443][sql] 将_LEGACY_ERROR_TEMP_2102 转换为UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][core][UI] 修复 MasterPage，可正确地按 Duration 列对 Running Drivers 表进行排序
  • [SPARK-46796] [ SC-154279][ss] 确保在 RocksDB 版本加载上使用正确的远程文件（metadata.zip中提及）
  • [SPARK-46888] [SC-154636][core] 修复 Master 以在禁用停用时拒绝 /workers/kill/ 请求
  • [SPARK-46818] [SC-154422][sql] 改进了不可折叠输入范围的错误消息
  • [SPARK-46898] [SC-154649][connect] 简化 Planner 中的 protobuf 函数转换
  • [SPARK-46828] [ SC-154413][sql] 删除 spark sql shell 远程模式的无效断言
  • [SPARK-46733] [SC-154274][core] 通过仅依赖中断线程的退出操作，简化了 BlockManager。
  • [SPARK-46777] [ SC-154016][ss] 重构 StreamingDataSourceV2Relation 催化剂结构，以更符合批处理版本
  • [SPARK-46515] [SC-151716] 添加 MONTHNAME 函数
  • [SPARK-46823] [SC-154276][connect][PYTHON] LocalDataToArrowConversion 应检查可空性
  • [SPARK-46787] [SC-154404][connect] bloomFilter 函数应为无效输入引发 AnalysisException
  • [SPARK-46779] [ SC-154045][sql] InMemoryRelation 同一缓存计划的实例在语义上应等效
  • [SPARK-45827] [SC-153973] 禁止对 Variant 列进行分区
  • [SPARK-46797] [SC-154085][core] 重命名 spark.deploy.spreadOut 为 spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 支持执行程序 JVM 分析
  • [SPARK-46746] [ SC-153557][sql][AVRO] 将编解码器扩展附加到 avro 数据源文件
  • [SPARK-46698] [ SC-153288][core] 将计时器替换为 ConsoleProgressBar 的单线程调度执行器。
  • [SPARK-46629] [SC-153835] 修复 STRUCT 类型 DDL 无法捕获可空性和注释的问题
  • [SPARK-46750] [SC-153772][connect][PYTHON] DataFrame API 代码清理
  • [SPARK-46769] [ SC-153979][sql] 优化与时间戳相关的架构推理
  • [SPARK-46765] [ SC-153904][python][CONNECT] 使 shuffle 指定 seed 的数据类型
  • [SPARK-46579] [SC-151481][sql] 对错误和日志中的 JDBC URL 进行脱敏处理
  • [SPARK-46686] [SC-153875][python][CONNECT] 基于 SparkSession Python UDF 探查器的基本支持
  • [SPARK-46748] 还原“[SC-153800][core] 移除 *slav**.sh 脚本
  • [SPARK-46707] [ SC-153833][sql] 向表达式添加了可抛出字段以提高谓词下推效果
  • [SPARK-46519] [ SC-151278][sql] 清除 error-classes.json 文件中未使用的错误类
  • [SPARK-46677] [SC-153426][sql][CONNECT] 修复 dataframe["*"] 解决方法
  • [SPARK-46317] [SC-150184][python][CONNECT] 匹配 SparkSession 中具有完整测试覆盖率的次要行为匹配
  • [SPARK-46748] [SC-153800][core] 删除 *slav**.sh 脚本
  • [SPARK-46663] [SC-153490][python] 为包含迭代器的 pandas UDF 禁用内存探查器
  • [SPARK-46410] [ SC-150776][sql] 将错误类/子类分配给 JdbcUtils.classificationException
  • [SPARK-46277] [SC-150126][python] 验证设置了配置的启动 URL
  • [SPARK-46612] [ SC-153536][sql] 不要转换从 jdbc 驱动程序检索的数组类型字符串
  • [SPARK-46254] [SC-149788][python] 删除过时Python 3.8/3.7 版本检查
  • [SPARK-46490] [SC-151335][sql] 在 SparkThrowable 子类中强制使用错误类
  • [SPARK-46383] [SC-153274][sc-147443][WARMFIX] 通过减少 TaskInfo.accumulables()的寿命来减少驱动程序堆使用
  • [SPARK-46541] [SC-153109][sql][CONNECT] 修复自联接中模糊的列引用
  • [SPARK-46381] [ SC-150495][sql] 将子 AnalysisException 类迁移到错误类
  • [SPARK-46351] [SC-150335][sql] 在AnalysisException中需要一个错误类
  • [SPARK-46220] [SC-149689][sql] 限制 decode() 中的字符集
  • [SPARK-46369] [SC-150340][core] 从 MasterPage 中的 RELAUNCHING 驱动程序移除了 kill 链接
  • [SPARK-46052] [ SC-153284][core] 删除函数 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][sql] 支持 GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][sql] 移除 ParquetReadSupport 中未使用的 inferTimestampNTZ
  • [SPARK-46717] [SC-153423][core] 通过仅依赖中断线程的退出操作，简化了 ReloadingX509TrustManager。
  • [SPARK-46722] [SC-153438][connect] 增加一个关于 Spark Connect 中 StreamingQueryListener 的向后兼容性检查测试（Scala/PySpark）
  • [SPARK-46187] [SC-149580][sql] 对齐 StringDecode 的代码生成和非代码生成实现
  • [SPARK-46258] [SC-149799][core] 添加 RocksDBPersistenceEngine
  • [SPARK-46216] [ SC-149676][core] 改进 FileSystemPersistenceEngine 以支持压缩
  • [SPARK-46189] [SC-149567][ps][SQL] 在各种 Pandas 聚合函数中进行同类型的比较和算术运算，以避免解释模式错误。
  • [SPARK-46184] [ SC-149563][core][SQL][connect][MLLIB] 通过将 Option.isDefined 替换为 Option.isEmpty 来减少堆栈深度
  • [SPARK-46700] [SC-153329][core] 统计 Shuffle 磁盘溢出字节指标的最后一次溢出
  • [SPARK-45642] [SC-150286][core][SQL] 修复 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [ SC-153272][sql] 通过排除子查询属性修复 RemoveRedundantAlias
  • [SPARK-46681] [SC-153287][core] 重构ExecutorFailureTracker#maxNumExecutorFailures以避免在配置defaultMaxNumExecutorFailures时计算MAX_EXECUTOR_FAILURES
  • [SPARK-46695] [SC-153289][sql][HIVE] 始终将 hive.execution.engine 设置为 mr
  • [SPARK-46325] [SC-150228][connect] 在 ResponseValidator#wrapIterator 中构造 WrappedCloseableIterator 时移除不必要的替代函数
  • [SPARK-46232] [ SC-149699][python] 将所有剩余的 ValueError 迁移到 PySpark 错误框架。
  • [SPARK-46547] [SC-153174][ss] 在维护任务中忽略非致命异常，以避免维护线程与流式处理聚合算子之间的死锁
  • [SPARK-46169] [ SC-149373][ps] 为 API 中缺少的参数 DataFrame 分配适当的 JIRA 编号。
  • [SPARK-45857] [SC-148096][sql] 在 AnalysisException 子类中强制使用错误类别

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

维护更新

请参阅 Databricks Runtime 15.1 维护更新。

系统环境

  • 操作系统：Ubuntu 22.04.4 LTS
  • Java：Zulu 8.74.0.17-CA-linux64
  • Scala：2.12.15
  • Python：3.11.0
  • R：4.3.2
  • Delta Lake：3.1.0

已安装Python库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
黑色 23.3.0 转向灯 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 通信 0.1.2
contourpy 1.0.5 加密 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 修饰器 5.1.1 distlib 0.3.8
入口点 0.4 执行 0.8.3 facets-overview 1.1.1
文件锁 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth (谷歌认证) 2.28.2
google-cloud-core 2.4.1 谷歌云存储 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 包装 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
替罪羊 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 请求 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy（科学计算工具库） 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id（用于根据提供的标识符导入SSH密钥的命令行工具） 5.11 栈数据 (stack-data) 0.2.0
statsmodels 0.14.0 韧性 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

已安装的 R 库

R 库从 2023-02-10 的 Posit 程序包管理器 CRAN 快照 中安装。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 基础映像 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 brio 1.1.4 扫帚 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
类 7.3-22 命令行界面 (CLI) 3.6.2 clipr 0.8.0
时钟 0.7.0 群集 2.1.4 codetools 0.2-19
颜色空间 2.1-0 commonmark 1.9.1 编译器 4.3.2
配置 0.3.2 矛盾 1.2.0 cpp11 0.4.7
蜡笔 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 数据集 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 摘要 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略号 0.3.2 评估 0.23
凡思 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 锻造 0.2.0 fs 1.6.3
未来 1.33.1 future.apply 1.11.1 漱口 1.5.2
泛型 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 粘合剂 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
图形 4.3.2 grDevices 4.3.2 网格 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 避难所 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 标记 0.4.3
稍后 1.3.2 lattice 0.21-8 熔岩 1.7.3
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 记忆化 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 并行 4.3.2
parallelly 1.36.0 支柱 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 表扬 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 承诺 1.2.1 原型 1.0.0
代理 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 可反应的 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
食谱 1.0.9 重赛 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
形状 1.4.6 闪亮的 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 空间 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 统计 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
生存 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
文本排版 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 时间变更 0.3.0
时间日期 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid（通用唯一识别码） 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip (压缩文件) 2.3.1

已安装Java和 Scala 库（Scala 2.12 群集版本）

组标识 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (亚马逊 Kinesis 客户端) 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs (AWS Java 软件开发工具包 - EFS) 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS-Java-SDK支持 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk（Azure 数据湖存储 SDK） 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack (线性代数程序库) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics 指标注解 4.2.19
io.dropwizard.metrics 核心指标 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty Netty 编解码器 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api（交易应用程序接口） 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk（雪花数据导入软件开发工具包） 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 观众注释 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api（Eclipse 集合 API） 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty服务器 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket 服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 垫片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与ScalaTest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
  • Last updated on