Databricks Runtime 19 for 机器学习 (Beta)

以下发行说明提供有关 Databricks Runtime 19 ML 的信息。

Azure Databricks于 2026 年 6 月发布此版本。

Important

Databricks Runtime 19 处于 Beta 阶段。 在 Beta 版期间,支持的环境的内容可能会更改。 更改可能包括包列表或已安装包的版本。

Databricks Runtime 19 ML 基于 Databricks Runtime 19 构建。 有关 Databricks Runtime 19 中的新增功能(包括 Apache Spark MLlib 和 SparkR)的信息,请参阅 Databricks Runtime 19(Beta) 发行说明。

行为变更

  • 删除Python包:与 Databricks Runtime 18 ML 相比,除了从 Databricks Runtime 19 中删除的包外,Databricks Runtime 19 ML 中还删除了大约 40 个 ML 运行时包。 将删除 TensorFlow/Keras 堆栈 (tensorflowkerastf_keras)。 依赖于这些包的工作负荷必须使用群集库或 init 脚本显式安装它们。 有关 Databricks Runtime 19 ML 中包含的包的完整列表,请参阅Python库

新功能和改进

库更新包括:

  • CUDA 更新到 13.0
  • flash_attn 2.8.3
  • langchain 1.3.1
  • mlflow-skinny 3.12.0
  • openai 2.37.0
  • torch 2.12.0
  • torchvision 0.27.0
  • transformers 4.57.6
  • triton 3.7.0
  • xgboost 3.2.0

系统环境

Databricks Runtime 19 ML 中的系统环境不同于 Databricks Runtime 19,如下所示。

  • 对于 GPU 群集,Databricks Runtime ML 包含以下 NVIDIA GPU 库:
    • CUDA 13.0
    • cublas 13.1.1.3-1
    • cusolver 12.0.4.66
    • cupti 13.0.85
    • cusparse 12.6.3.3
    • cuDNN 9.23.0.39
    • NCCL 2.28.3

图书馆

以下部分列出了 Databricks Runtime 19 ML 中包含的库,这些库不同于 Databricks Runtime 19 中包含的库。

顶层库

Databricks Runtime 19 ML 包含以下顶级

Python库

Databricks Runtime 19 ML 使用virtualenv进行 Python 包管理,并包含许多常用的机器学习包。

若要在本地 Python 虚拟环境中重现 Databricks Runtime ML 的 Python 环境,请下载用于 CPU 群集的 requirements-cpu-19.txt 或用于 GPU 群集的 requirements-gpu-19.txt。 然后运行 pip install -r requirements-<cpu|gpu>-19.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库,但不安装 Databricks 开发的库。

CPU 集群上的 Python 库

Library 版本 Library 版本 Library 版本
absl-py 2.3.1 加速 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
alembic 1.18.4 annotated-doc 0.0.4 annotated-types 0.7.0
anyio 4.10.0 arro3-core 0.8.0 asttokens 3.0.0
astunparse 1.6.3 attrs 25.4.0 audioread(音频读取) 3.1.0
autocommand 2.2.2 azure-core 1.41.0 azure-cosmos 4.3.1
azure-identity 1.25.3 azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0
azure-storage-blob 12.29.0 azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0
black 25.9.0 blinker 1.7.0 布利斯 1.3.3
boto3 1.40.46 botocore 1.40.46 cachetools 5.5.1
catalogue 2.0.10 certifi 2025.11.12 cffi 2.0.0
charset-normalizer 3.4.4 单击 8.2.1 cloudpathlib 0.24.0
cloudpickle 3.1.1 cmdstanpy 1.3.0 五彩缤纷 0.5.8
colorlog 6.10.1 通讯 0.2.3 甜点 1.3.3
contourpy 1.3.3 加密 46.0.3 cycler 0.11.0
cymem 2.0.13 databricks-agents 1.10.2 databricks-feature-engineering 0.13.0.1
databricks-sdk 0.108.0 dataclasses-json 0.6.7 datasets 4.8.5
dbl-tempo 0.1.26 dbus-python 1.3.2 debugpy 1.8.16
修饰器 5.2.1 DeepSpeed 0.19.0 deltalake 1.5.1
弃用 1.3.1 dill 0.4.0 distlib 0.4.0
dm-tree 0.1.10 einops 0.8.2 评估 0.4.6
执行中 2.2.1 Farama-通知 0.0.6 fastapi 0.136.1
filelock 3.20.0 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 Google 云存储 (Google Cloud Storage) 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
体育馆 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 假期 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 imbalanced-learn(不平衡学习库) 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate (ISO标准日期) 0.7.2 它很危险 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 JSON补丁 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 JSON模式规范 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 multiprocess 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 忍者 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-nccl-cu12 2.30.4 oauthlib 3.2.0 openai 2.37.0
opencensus 0.11.4 opencensus-context 0.1.3 opentelemetry-api 1.42.1
opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1 opentelemetry-semantic-conventions 0.63b1
optuna 3.6.1 optuna-integration 3.6.0 orjson 3.11.9
ormsgpack 1.12.2 封装 25.0 pandas 2.3.3
parso 0.8.5 pathspec 0.12.1 替罪羊 1.0.1
pexpect 4.9.0 pillow 12.0.0 pip 25.3
platformdirs 4.5.0 pluggy 1.5.0 狗狗 1.9.0
preshed 3.0.13 prometheus_client 0.21.1 prompt_toolkit 3.0.52
propcache 0.3.1 预言者 1.2.1 proto-plus 1.28.0
protobuf 6.33.5 psutil 7.0.0 ptyprocess 0.7.0
pure_eval 0.2.3 py-cpuinfo (Python CPU信息) 9.0.0 py-spy 0.4.2
pyarrow 21.0.0 pyasn1 0.6.1 pyasn1_modules 0.4.2
pyccolo 0.0.83 pycparser 2.23 pydantic 2.13.3
pydantic_core 2.46.3 pyflakes 3.2.0 Pygments 2.19.2
PyGObject 3.48.2 pyiceberg 0.11.1 PyJWT 2.10.1
pyparsing Python解析库 3.2.5 pyright 1.1.409 pyroaring 1.1.0
pytesseract 0.3.13 pytest 8.4.2 python-dateutil 2.9.0.post0
python-dotenv 1.2.2 Python代码编辑器 1.0.4 pytokens 0.2.0
pytz 2025.2 PyYAML 6.0.3 pyzmq 27.1.0
射线 2.37.0 referencing 0.37.0 regex 2025.9.1
请求 2.32.5 requests-oauthlib 2.0.0 requests-toolbelt 1.0.0
rich 14.2.0 rpds-py 0.28.0 s3transfer 0.14.0
safetensors 0.7.0 scikit-image 0.25.2 scikit-learn 1.7.2
scipy 1.16.3 sentence-transformers (句子转换器) 5.5.1 sentencepiece 0.2.1
setuptools 80.9.0 shap 0.51.0 谢灵汉姆 1.5.4
6 1.17.0 切片器 0.0.8 smart_open 7.6.1
smmap 5.0.0 sniffio 1.3.0 音频文件 0.13.1
soxr 1.1.0 spacy 3.8.14 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.43 sqlparse 0.5.5
srsly 2.5.3 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11 栈数据 (stack-data) 0.6.3
斯塔尼奥 0.5.1 starlette 0.52.1 statsmodels 0.14.5
strictyaml 1.7.3 sympy 1.14.0 tenacity 9.1.2
tensorboard 2.20.0 TensorBoard数据服务器 0.7.2 tensorboardX 2.6.5
textual 8.2.7 thinc 8.3.13 threadpoolctl 3.5.0
tifffile 2025.10.4 tiktoken 0.13.0 tokenize_rt 6.2.0
tokenizers 0.22.1 tomli 2.0.1 火炬 2.12.0+cpu
torcheval 0.0.7 torchvision 0.27.0+cpu tornado 6.5.1
tqdm 4.67.1 traitlets 5.14.3 转换器 4.57.6
typeguard 4.3.0 typer 0.25.1 typing-inspect 0.9.0
typing-inspection 0.4.2 typing_extensions 4.15.0 tzdata 2026.2
uc-micro-py 1.0.3 无需人工干预的升级 0.1 urllib3 2.5.0
uuid_utils 0.16.0 uvicorn 0.47.0 virtualenv 20.35.4
wadllib 1.3.6 山葵 1.1.3 wcwidth 0.2.13
鼬鼠 1.0.0 Werkzeug 3.1.3 wheel 0.45.1
每当 0.7.3 widgetsnbextension 4.0.14 wrapt 1.17.0
xgboost 3.2.0 xgboost-ray 0.1.19 xxhash 3.5.0
yarl 1.22.0 zipp 3.23.0 zstandard 0.25.0

GPU 集群上的 Python 库

注意

PyTorch 使用 CUDA PyPI 依赖项提供 CUDA 支持,而不是内置于 Databricks Runtime 19 ML 中的 CUDA 库版本。

Library 版本 Library 版本 Library 版本
absl-py 2.3.1 加速 1.13.0 aiohappyeyeballs 2.6.1
aiohttp 3.13.2 aiohttp-cors 0.8.1 aiosignal 1.4.0
annotated-doc 0.0.4 annotated-types 0.7.0 anyio 4.10.0
arro3-core 0.8.0 asttokens 3.0.0 astunparse 1.6.3
attrs 25.4.0 audioread(音频读取) 3.1.0 autocommand 2.2.2
azure-core 1.41.0 azure-cosmos 4.3.1 azure-identity 1.25.3
azure-mgmt-core 1.6.0 azure-mgmt-web 10.1.0 azure-storage-blob 12.29.0
azure-storage-file-datalake 12.24.0 backports.tarfile 1.2.0 black 25.9.0
blinker 1.7.0 布利斯 1.3.3 boto3 1.40.46
botocore 1.40.46 cachetools 5.5.1 catalogue 2.0.10
certifi 2025.11.12 cffi 2.0.0 charset-normalizer 3.4.4
单击 8.2.1 cloudpathlib 0.24.0 cloudpickle 3.1.1
cmdstanpy 1.3.0 五彩缤纷 0.5.8 colorlog 6.10.1
通讯 0.2.3 甜点 1.3.3 contourpy 1.3.3
加密 46.0.3 cuda-bindings 13.2.0 cuda-pathfinder 1.5.4
CUDA工具包 13.0.2 cycler 0.11.0 cymem 2.0.13
databricks-agents 1.10.2 databricks-feature-engineering 0.13.0.1 databricks-sdk 0.108.0
dataclasses-json 0.6.7 datasets 4.8.5 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.8.16 修饰器 5.2.1
DeepSpeed 0.19.0 deltalake 1.5.1 弃用 1.3.1
dill 0.4.0 distlib 0.4.0 dm-tree 0.1.10
einops 0.8.2 评估 0.4.6 执行中 2.2.1
Farama-通知 0.0.6 fastapi 0.136.3 filelock 3.20.0
flash_attn 2.8.3 Flask 2.2.5 fonttools 4.60.1
frozenlist 1.8.0 fsspec 2023.5.0 gitdb 4.0.11
GitPython 3.1.45 google-api-core 2.30.3 google-auth 2.53.0
google-cloud-core 2.6.0 Google 云存储 (Google Cloud Storage) 3.10.1 google-crc32c 1.8.0
google-resumable-media 2.9.0 googleapis-common-protos 1.71.0 graphql-core 3.2.4
greenlet 3.2.4 grpcio 1.76.0 grpcio-status 1.76.0
体育馆 0.28.1 h11 0.16.0 hf-xet 1.5.0
hjson 3.1.0 假期 0.54 httpcore 1.0.9
httplib2 0.20.4 httpx 0.28.1 huggingface_hub 0.36.2
idna 3.11 ImageIO 2.37.2 imbalanced-learn(不平衡学习库) 0.14.0
importlib_metadata 8.7.0 importlib_resources 7.1.0 inflect 7.3.1
iniconfig 2.1.0 ipyflow-core 0.0.227 ipykernel 6.31.0
ipython 9.7.0 ipython_pygments_lexers 1.1.1 ipywidgets 8.1.7
isodate (ISO标准日期) 0.7.2 它很危险 2.2.0 jaraco.collections 5.1.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 jedi 0.19.2 Jinja2 3.1.6
jiter 0.15.0 jmespath 1.0.1 joblib 1.5.2
joblibspark 0.6.0 JSON补丁 1.33 jsonpointer 3.1.1
jsonschema 4.25.0 JSON模式规范 2025.9.1 jupyter_client 8.6.3
jupyter_core 5.8.1 jupyterlab_widgets 3.0.15 kiwisolver 1.4.8
langchain 1.3.1 langchain-core 1.4.0 langchain-protocol 0.0.15
langgraph 1.2.1 langgraph-checkpoint 4.1.1 langgraph-prebuilt 1.1.0
langgraph-sdk 0.3.15 langsmith 0.4.41 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 lazy_loader 0.4
librosa 0.11.0 lightgbm 4.6.0 linkify-it-py 2.0.3
llvmlite 0.45.1 lz4 4.4.5 Mako 1.3.12
marisa-trie 1.2.0 Markdown 3.8 markdown-it-py 2.2.0
MarkupSafe 3.0.2 棉花糖 3.26.2 matplotlib 3.10.6
matplotlib-inline 0.2.1 mccabe 0.7.0 mdit-py-plugins 0.5.0
mdurl 0.1.2 memray 1.19.3 mlflow-skinny 3.12.0
mmh3 5.2.1 more-itertools 10.3.0 mpmath 1.3.0
msal 1.36.0 msal-extensions 1.3.1 msgpack 1.1.2
msrest 0.7.1 multidict 6.7.0 multiprocess 0.70.18
murmurhash 1.0.15 mypy-extensions 1.0.0 nest-asyncio 1.6.0
NetworkX 3.5 忍者 1.13.0 nltk 3.9.2
nodeenv 1.10.0 numba 0.62.1 numpy 2.3.4
nvidia-cublas 13.1.1.3 nvidia-cuda-cupti 13.0.85 nvidia-cuda-nvrtc 13.0.88
nvidia-cuda-runtime 13.0.96 nvidia-cudnn-cu13 9.20.0.48 nvidia-cufft 12.0.0.61
nvidia-cufile 1.15.1.6 nvidia-curand 10.4.0.35 nvidia-cusolver 12.0.4.66
nvidia-cusparse 12.6.3.3 nvidia-cusparselt-cu13 0.8.1 nvidia-ml-py 13.580.82
nvidia-nccl-cu12 2.30.4 nvidia-nccl-cu13 2.29.7 nvidia-nvjitlink 13.0.88
nvidia-nvshmem-cu13 3.4.5 nvidia-nvtx 13.0.85 oauthlib 3.2.0
openai 2.37.0 opencensus 0.11.4 opencensus-context 0.1.3
opentelemetry-api 1.42.1 opentelemetry-proto 1.42.1 opentelemetry-sdk 1.42.1
opentelemetry-semantic-conventions 0.63b1 optuna 3.6.1 optuna-integration 3.6.0
orjson 3.11.9 ormsgpack 1.12.2 封装 25.0
pandas 2.3.3 parso 0.8.5 pathspec 0.12.1
替罪羊 1.0.1 pexpect 4.9.0 pillow 12.0.0
pip 25.3 platformdirs 4.5.0 pluggy 1.5.0
狗狗 1.9.0 preshed 3.0.13 prometheus_client 0.21.1
prompt_toolkit 3.0.52 propcache 0.3.1 预言者 1.2.1
proto-plus 1.28.0 protobuf 6.33.5 psutil 7.0.0
ptyprocess 0.7.0 pure_eval 0.2.3 py-cpuinfo (Python CPU信息) 9.0.0
py-spy 0.4.2 pyarrow 21.0.0 pyasn1 0.6.1
pyasn1_modules 0.4.2 pyccolo 0.0.83 pycparser 2.23
pydantic 2.13.3 pydantic_core 2.46.3 pyflakes 3.2.0
Pygments 2.19.2 PyGObject 3.48.2 pyiceberg 0.11.1
PyJWT 2.10.1 pyparsing Python解析库 3.2.5 pyright 1.1.409
pyroaring 1.1.0 pytesseract 0.3.13 pytest 8.4.2
python-dateutil 2.9.0.post0 python-dotenv 1.2.2 Python代码编辑器 1.0.4
pytokens 0.2.0 pytz 2025.2 PyYAML 6.0.3
pyzmq 27.1.0 射线 2.37.0 referencing 0.37.0
regex 2025.9.1 请求 2.32.5 requests-oauthlib 2.0.0
requests-toolbelt 1.0.0 rich 14.2.0 rpds-py 0.28.0
s3transfer 0.14.0 safetensors 0.7.0 scikit-image 0.25.2
scikit-learn 1.7.2 scipy 1.16.3 sentence-transformers (句子转换器) 5.5.1
sentencepiece 0.2.1 setuptools 80.9.0 shap 0.51.0
谢灵汉姆 1.5.4 6 1.17.0 切片器 0.0.8
smart_open 7.6.1 smmap 5.0.0 sniffio 1.3.0
音频文件 0.13.1 soxr 1.1.0 spacy 3.8.14
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.43
sqlparse 0.5.5 srsly 2.5.3 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11
栈数据 (stack-data) 0.6.3 斯塔尼奥 0.5.1 starlette 0.52.1
statsmodels 0.14.5 strictyaml 1.7.3 sympy 1.14.0
tenacity 9.1.2 tensorboard 2.20.0 TensorBoard数据服务器 0.7.2
tensorboardX 2.6.5 textual 8.2.7 thinc 8.3.13
threadpoolctl 3.5.0 tifffile 2025.10.4 tiktoken 0.13.0
tokenize_rt 6.2.0 tokenizers 0.22.1 tomli 2.0.1
火炬 2.12.0 torcheval 0.0.7 torchvision 0.27.0
tornado 6.5.1 tqdm 4.67.1 traitlets 5.14.3
转换器 4.57.6 triton 3.7.0 typeguard 4.3.0
typer 0.25.1 typing-inspect 0.9.0 typing-inspection 0.4.2
typing_extensions 4.15.0 tzdata 2026.2 uc-micro-py 1.0.3
无需人工干预的升级 0.1 urllib3 2.5.0 uuid_utils 0.16.0
uvicorn 0.47.0 virtualenv 20.35.4 wadllib 1.3.6
山葵 1.1.3 wcwidth 0.2.13 鼬鼠 1.0.0
Werkzeug 3.1.3 wheel 0.45.1 每当 0.7.3
widgetsnbextension 4.0.14 wrapt 1.17.0 xgboost 3.2.0
xgboost-ray 0.1.19 xxhash 3.5.0 yarl 1.22.0
zipp 3.23.0 zstandard 0.25.0

R 软件库

R 库与 Databricks Runtime 19 中的 R 库 相同。

Java 和 Scala 库 (Scala 2.13 群集)

除了 Databricks Runtime 19 中的Java和 Scala 库,Databricks Runtime 19 ML 还包含以下 JAR:

CPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark_2.13 2.1.3
ml.dmlc xgboost4j_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

GPU 群集

群组标识符 工件编号 版本
ml.dmlc xgboost4j-spark-gpu_2.13 2.1.3
ml.dmlc xgboost4j-gpu_2.13 2.1.3
org.graphframes graphframes_2.13 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.scala-lang.modules scala-collection-compat_2.13 2.12.0
org.tensorflow spark-tensorflow-connector_2.13 1.15.0

不支持的版本

Tip

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。