Requisitos y limitaciones de cálculo estándar

En esta página se incluye una lista de requisitos y limitaciones para el proceso estándar. Si usa el proceso clásico, Databricks recomienda usar el modo de acceso estándar a menos que la carga de trabajo dependa de una de las limitaciones que se enumeran a continuación.

Limitaciones de proceso estándar actuales

En las secciones siguientes se enumeran las limitaciones del proceso estándar en función de la versión más reciente de Databricks Runtime. Para conocer las limitaciones que se aplican a las versiones anteriores de Databricks Runtime, consulte Limitaciones dependientes del entorno de ejecución.

Si estas características son necesarias para la carga de trabajo, use el proceso dedicado en su lugar.

Limitaciones generales de computación estándar

• Databricks Runtime para ML no es compatible. En su lugar, instale cualquier biblioteca de ML que no esté incluida con Databricks Runtime como una biblioteca con ámbito de proceso.
• No se admite el cómputo habilitado para GPU.
• No se admiten tareas de trabajo de envío de Spark. En su lugar, use una tarea JAR.
• DBUtils y otros clientes solo pueden leer desde el almacenamiento en la nube mediante una ubicación externa.
• La raíz y los montajes de DBFS no admiten FUSE.

Limitaciones de idioma

• No se admite R.

Limitaciones de la API de Spark

• El contexto de Spark (sc), spark.sparkContexty sqlContext no se admiten para Scala:
  • Azure Databricks recomienda usar la spark variable para interactuar con la SparkSession instancia.
  • Tampoco se admiten las siguientes funciones sc: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
• No se admite establecer determinadas propiedades de configuración de Spark . Se produce un error al crear o editar un clúster que establece una propiedad restringida. Para obtener la lista completa, consulte Limitaciones de configuración de Spark.
• Al crear un dataframe a partir de datos locales mediante spark.createDataFrame, los tamaños de fila no pueden superar los 128 MB.
• No se admiten las API de RDD.
• Spark Connect, que se usa en versiones más recientes de Databricks Runtime, aplaza el análisis y la resolución de nombres al tiempo de ejecución, lo que puede cambiar el comportamiento del código. Consulte Comparación de Spark Connect con Spark clásico.

Limitaciones de UDF

• No se admiten las UDF de Hive. En su lugar, use UDF en el catálogo de Unity.
• Las UDF de Scala no se pueden usar dentro de funciones de orden superior.

Limitaciones de streaming

• No se admite el uso de fuentes de socket.
• El sourceArchiveDir debe estar en la misma ubicación externa que la fuente cuando se utiliza option("cleanSource", "archive") con una fuente de datos administrada por Unity Catalog.
• En el caso de los orígenes y receptores de Kafka, no se admiten las siguientes opciones:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Python foreachBatch no admite ThreadPoolExecutor ni ejecución multiproceso. La ejecución multiproceso puede no producir errores, pero puede provocar daños en los datos o resultados incoherentes.

Limitaciones del sistema de archivos y de red

• La computación estándar ejecuta comandos como un usuario con bajos privilegios, al que se le prohíbe acceder a partes sensibles del sistema de archivos.
• No se admiten rutas de acceso de estilo POSIX (/) para DBFS.
• Solo los administradores de áreas de trabajo y los usuarios con permisos ANY FILE pueden interactuar directamente con archivos mediante DBFS.

• No se puede conectar al servicio de metadatos de instancia ni a Azure WireServer.

Limitaciones de las variables de entorno

Solo está disponible un conjunto predefinido de variables de entorno para el motor Spark y los scripts de inicialización en el cómputo estándar. Las variables de entorno establecidas en un clúster, pero que no están en este conjunto siguen estando disponibles para el código de usuario, incluidas las UDF, pero no están disponibles para el motor de Spark o los scripts de inicialización.

Este conjunto incluye variables comunes de configuración, credenciales y tiempo de ejecución. Los ejemplos siguientes no son exhaustivos:

• Redes y servidores proxy: HTTP_PROXY, HTTPS_PROXY, NO_PROXY
• Certificados TLS: REQUESTS_CA_BUNDLE, SSL_CERT_FILE
• Credenciales y regiones de AWS: AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_REGION, AWS_DEFAULT_REGION
• Azure credenciales: AZURE_CLIENT_ID, AZURE_CLIENT_SECRET,AZURE_TENANT_ID
• Credenciales de Google Cloud: GOOGLE_APPLICATION_CREDENTIALS
• Conexión de Databricks: DATABRICKS_HOST, DATABRICKS_TOKEN
• Configuración regional y zona horaria: TZ, LANG, LC_ALL
• Paralelismo y subproceso: OMP_NUM_THREADS, OPENBLAS_NUM_THREADS, MKL_NUM_THREADS, NUMEXPR_NUM_THREADS
• Observabilidad: DD_API_KEY, , DD_SITEDD_ENV
• Valores predeterminados del catálogo de Unity: CATALOG, CATALOG_NAME

Limitaciones del kernel de Scala

Se aplican las siguientes limitaciones al usar el kernel de scala en el proceso estándar:

• Algunas clases no se pueden usar en el código si entran en conflicto con la biblioteca interna del kernel de almendras, en particular Input. Para obtener una lista de las importaciones definidas de almendras, consulte importaciones de almendras.
• No se admite el registro directamente en log4j.
• En la interfaz de usuario, no se admite la lista desplegable de esquema de DataFrame.
• Si el controlador alcanza OOM, REPL de Scala no finalizará.
• //connector/sql-aws-connectors:sql-aws-connectors no está en el destino de bazel de REPL de Scala, utilice los resultados en ClassNotFoundException.
• El kernel de Scala no es compatible con SQLImplicits.

Limitaciones dependientes del entorno de ejecución

Las siguientes limitaciones se han resuelto a través de actualizaciones en tiempo de ejecución, pero es posible que todavía se apliquen a la carga de trabajo si usa un entorno de ejecución anterior.

Compatibilidad con idiomas

Compatibilidad con la API de Spark

Compatibilidad con UDF

Compatibilidad con streaming

Además, para Python, foreachBatch tiene los siguientes cambios de comportamiento en Databricks Runtime 14.0 y versiones posteriores:

• Los comandos print() escriben la salida en los registros del controlador.
• No se puede acceder al submódulo dbutils.widgets dentro de la función.
• Cualquier archivo, módulo u objeto referenciado en la función debe ser serializable y estar disponible en Spark.

Compatibilidad de red y sistema de archivos

Limitaciones de configuración de Spark

En Databricks Runtime 19 y versiones posteriores, no puede establecer las siguientes propiedades de configuración de Spark en modo de acceso estándar. Al crear o editar un clúster que establece cualquiera de estas propiedades, o una propiedad que comienza con uno de los prefijos enumerados (que se muestra con un final .*), se produce un error. Quite estas propiedades de la configuración del clúster, las directivas de proceso y las definiciones de trabajo antes de actualizar.