Configurar un perímetro de seguridad de red (NSP) de Azure para recursos de Azure

Azure Databricks con proceso informático sin servidor se conecta a sus recursos en la nube a través de infraestructura de red administrada. Si los cortafuegos protegen sus recursos en la nube, debe permitir el tráfico procedente de la computación sin servidor. El método de configuración depende del tipo de recurso:

• Cuentas de almacenamiento de Azure en la región de su área de trabajo: asocie su cuenta de almacenamiento con un perímetro de seguridad de red (NSP) y permita la etiqueta de servicio AzureDatabricksServerless.

• Otros recursos: permite incluir en la lista las direcciones IP de salida publicadas por Azure Databricks.

Configuración de un perímetro de seguridad de red Azure para cuentas de almacenamiento de Azure

Un perímetro de seguridad de red de Azure (NSP) es una característica integrada de Azure que crea un límite lógico de aislamiento para los recursos de plataforma como servicio (PaaS). Al asociar las cuentas de almacenamiento con un NSP, el tráfico de red se administra de forma centralizada con un conjunto de reglas simplificado en lugar de mantener listas complejas de direcciones IP individuales o identificadores de subred. En esta sección se describe cómo configurar un NSP para controlar el acceso de proceso sin servidor a las cuentas de almacenamiento de Azure mediante el portal de Azure.

NSP admite el acceso desde almacenes de SQL sin servidor, trabajos, cuadernos, canalizaciones declarativas de Spark de Lakeflow y puntos de conexión de servicio de modelos.

Ventajas principales

El uso de NSP para el tráfico saliente sin servidor de Azure Databricks mejora su postura de seguridad y reduce significativamente la sobrecarga operativa.

Servicios de Azure compatibles

La etiqueta de servicio AzureDatabricksServerless solo se admite para las reglas de entrada de NSP destinadas a Azure Storage (incluido ADLS Gen2) en la región del área de trabajo.

Requirements

Antes de comenzar, deberá cumplir los siguientes requisitos:

• Debe ser administrador de la cuenta de Azure Databricks.
• Debe tener permisos de colaborador o propietario en el recurso de Azure que desea configurar.
• Debe tener permiso para crear recursos perimetrales de seguridad de red en la suscripción de Azure.
• El área de trabajo de Azure Databricks y los recursos de Azure deben estar en la misma región Azure para obtener un rendimiento óptimo y evitar cargos de transferencia de datos entre regiones.

Paso 1: Crear un perímetro de seguridad de red y anotar el identificador de perfil

Para crear el perímetro y anotar su identificador de perfil, haga lo siguiente:

1. Inicie sesión en Azure Portal.

2. En el cuadro de búsqueda de la parte superior, escriba Perímetros de seguridad de red y selecciónelo en los resultados.

3. Haz clic en + Crear.

4. En la pestaña Aspectos básicos , escriba la siguiente información:

   • Suscripción: Seleccione su suscripción a Azure.
   • Grupo de recursos: seleccione un grupo de recursos existente o cree uno.
   • Nombre: escriba un nombre para el NSP (por ejemplo, databricks-nsp).
   • Región: seleccione la región del NSP. La región debe coincidir con la región del área de trabajo de Azure Databricks y la región de la cuenta de almacenamiento de Azure.
   • Nombre del perfil: escriba un nombre de perfil (por ejemplo, databricks-profile).

5. Haga clic en Revisar y crear y, a continuación, en Crear.

6. Una vez creado el NSP, vaya a él en el portal de Azure.

7. En la barra lateral izquierda, vaya a Perfiles de configuración>.

8. Cree o seleccione el perfil (por ejemplo, databricks-profile).

9. Copie el identificador de recurso del perfil. Necesita este identificador para asociar recursos mediante programación.

   Sugerencia

   Guarde el identificador de perfil en una ubicación segura. Debe tenerlo disponible si desea asociar recursos mediante el CLI de Azure o la API en lugar del portal de Azure.

Paso 2: Asociar la cuenta de almacenamiento con NSP en modo de transición

Debe asociar cada cuenta de almacenamiento de Azure a la que desee acceder desde el cómputo sin servidor de Azure Databricks con su perfil de NSP siguiendo los pasos que se indican a continuación:

1. Vaya al perímetro de seguridad de red en el portal de Azure.
2. En la barra lateral izquierda, vaya a Recursos asociados en Configuración.
3. Haga clic en + Agregar>recursos asociados con un perfil existente.
4. Seleccione el perfil que creó en el paso 1 (por ejemplo, databricks-profile).
5. Haga clic en Asociar.
6. En el panel de selección de recursos, filtre por Microsoft.Storage/storageAccounts para asociar una cuenta de Azure Data Lake Storage Gen2.
7. Seleccione las cuentas de almacenamiento en la lista.
8. Haga clic en Asociar en la parte inferior del panel.

Comprobar el modo de transición:

1. En el NSP, vaya a Configuración>Recursos asociados.
2. Busque la cuenta de almacenamiento en la lista.
3. Compruebe que la columna Modo de acceso muestra Transición. La transición es el modo predeterminado.

Paso 3: Agregar una regla de acceso de entrada para el cómputo sin servidor de Azure Databricks

Debe crear una regla de acceso entrante en el perfil de NSP para permitir el tráfico desde la computación sin servidor de Azure Databricks a sus recursos de Azure.

1. Vaya al perímetro de seguridad de red en el portal de Azure.
2. En la barra lateral izquierda, vaya a Perfiles de configuración>.
3. Seleccione el perfil (por ejemplo, databricks-profile).
4. En Configuración , haga clic en Reglas de acceso de entrada.
5. Haga clic en + Agregar.
6. Configure la regla:
   • Nombre de regla: escriba un nombre descriptivo (por ejemplo, allow-databricks-serverless).
   • Tipo de origen: seleccione Etiqueta de servicio.
   • Orígenes permitidos: seleccione AzureDatabricksServerless.[ your_workspace_region] (por ejemplo, AzureDatabricksServerless.EastUS2). El uso de una etiqueta regional limita el acceso a Azure Databricks direcciones IP de la región del área de trabajo, lo que reduce la exposición en comparación con la etiqueta global.
7. Haga clic en Agregar.

Paso 4: Comprobar la configuración

Después de configurar su NSP, compruebe que la computación sin servidor de Azure Databricks pueda acceder a su almacenamiento y supervise la actividad de su NSP.

Prueba del acceso desde un proceso sin servidor

1. Vaya al recurso de Azure en el portal de Azure.

2. Vaya a Seguridad + redes>Redes.

3. Compruebe que el recurso muestra una asociación con el perímetro de seguridad de red.

4. Compruebe que el estado muestra el modo de transición.

5. Vea las reglas de entrada asociadas a su perfil para confirmar que la regla AzureDatabricksServerless aparece (ya sea regional o global).

6. En el área de trabajo de Azure Databricks, ejecute una consulta de prueba para confirmar que la computación sin servidor puede acceder a tu recurso. Por ejemplo, para probar el acceso a una cuenta de almacenamiento de ADLS Gen2:

   SELECT * FROM delta.`abfss://[email protected]/path/to/data` LIMIT 10;
   

   Si la consulta se realiza correctamente, la configuración de NSP funciona correctamente.

Supervisión de la actividad de NSP

Para supervisar los intentos de conexión que las reglas de NSP permiten o deniegan:

1. Vaya al recurso de Azure en el portal de Azure.

2. Vaya a Supervisión>Configuración de diagnóstico.

3. Haga clic en + Agregar configuración de diagnóstico.

4. Seleccione las categorías de registro que desea supervisar. Para Azure Storage cuentas, seleccione:

   • StorageRead
   • StorageWrite

5. Seleccione un destino:

   • Área de trabajo de Log Analytics (recomendada para realizar consultas y análisis)
   • Cuenta de almacenamiento (para archivo a largo plazo)
   • Centro de eventos (para streaming a sistemas externos)

6. Haz clic en Guardar.

   Sugerencia

   Los registros de diagnóstico muestran intentos de conexión que coinciden con las reglas de NSP comparados con las reglas de firewall de recursos. En el modo de transición, los registros indican si cada solicitud es permitida por una regla de NSP o, de lo contrario, depende del firewall de recursos.

Descripción de los modos de acceso de NSP

NSP admite dos modos de acceso: modo de transición y modo aplicado. Azure Databricks recomienda permanecer en modo de transición indefinidamente para la mayoría de los casos de uso.

Modo de transición (recomendado):

• Evalúa primero las reglas de NSP y, a continuación, recurre a las reglas de firewall de recursos si no coincide ninguna regla de NSP.
• Permite usar NSP junto con las configuraciones de red existentes.
• Compatible con los puntos de conexión de servicio, las configuraciones de proceso clásicas y los patrones de tráfico de red pública.

Modo forzado (no recomendado para la mayoría de los clientes):

• Omite las reglas de firewall de recursos, bloqueando todo el tráfico que no coincide con una regla de NSP. El modo forzado afecta no solo a Azure Databricks, sino también a cualquier otro servicio que haya permitido a través del firewall de recursos; esos servicios deben haberse integrado en el NSP para seguir funcionando.
• Permanezca en modo de transición si usa puntos de conexión de servicio para conectarse al almacenamiento desde cualquier área de trabajo de Azure Databricks.

Configuración del acceso a otros recursos mediante direcciones IP salientes

Para los recursos distintos de las cuentas de almacenamiento de Azure en la misma región que el espacio de trabajo, el proceso sin servidor usa direcciones IP públicas para acceder a esos recursos.

Para permitir que sin servidor acceda a los recursos con firewalls, debe agregar los bloques CIDR publicados por Azure Databricks a la lista de permitidos. Para obtener más información sobre las direcciones IP de salida publicadas, consulte Direcciones IP de salida para la versión preliminar del firewall de proceso sin servidor.

Búsqueda de las direcciones IP salientes de su entorno

1. Descargue ip-ranges.json.
2. Filtre el JSON por las entradas que se aplican al área de trabajo. Mantenga solo las entradas en las que:
   • service es Databricks.
   • type es outbound.
   • region corresponde a la región de su espacio de trabajo
   • platform coincide con azure
3. Permitir la inclusión de los ( ipv4Prefixes bloques CIDR) de las entradas coincidentes en el firewall de recursos.

Automatizar las actualizaciones para mantener la lista de permitidos actual

Debe automatizar las actualizaciones de la lista de permitidos. Azure Databricks cambia estas direcciones IP a lo largo del tiempo, por lo que una copia estática y única finalmente interrumpe la conectividad sin servidor. Las actualizaciones se publican con una frecuencia de hasta una vez cada 30 días, las nuevas direcciones IP se activan tan pronto como a los 60 días de su publicación y se añaden nuevas regiones periódicamente. Para mantener la lista de permitidos actual:

1. Capturar ip-ranges.json según una programación (por ejemplo, cada 30 días).
2. Compare su timestampSeconds campo con la copia guardada para detectar cambios.
3. Si ha cambiado, compruebe si las direcciones IP de sus platform y region han cambiado.
4. Actualice la lista de permitidos del firewall con las direcciones IP nuevas.
5. Guarde el archivo para la siguiente comparación.

Considerations

Revise las consideraciones siguientes antes de configurar un firewall para el proceso sin servidor:

• La configuración de un firewall también afecta a la conectividad de los recursos de proceso clásicos. También debe actualizar las reglas de acceso a los recursos para permitir las direcciones IP de las conexiones de los recursos de proceso clásicos.
• Espere a que se propaguen las reglas del firewall antes de comprobar la conectividad desde el entorno de cómputo sin servidor.

Pasos siguientes

• Configure la conectividad privada con los recursos de su VPC: Use PrivateLink para establecer un acceso seguro y aislado a los recursos de su VPC desde la computación sin servidor. Consulte Configuración de la conectividad privada a los recursos de la red virtual.
• Administrar reglas de extremo privado: vea, actualice y elimine reglas de extremo privado de su configuración de conectividad de red. Consulte Administración de reglas de punto de conexión privado.