Añadir la fuente de Confluent Cloud para Apache Kafka a una secuencia de eventos

En este artículo se muestra cómo agregar el origen de Confluent Cloud for Apache Kafka a una secuencia de eventos.

Confluent Cloud for Apache Kafka es una plataforma de streaming que ofrece funcionalidades eficaces de procesamiento y streaming de datos mediante Apache Kafka. Al integrar Confluent Cloud for Apache Kafka como origen dentro de la secuencia de eventos, puede procesar sin problemas flujos de datos en tiempo real antes de enrutarlos a varios destinos dentro de Fabric.

Requisitos previos

• Acceso a un área de trabajo en el modo de licencia de capacidad de Fabric o en el modo de licencia de prueba con permisos de colaborador o superior.

• Un clúster de Confluent Cloud para Apache Kafka y una clave de API.

• El clúster de Confluent Cloud for Apache Kafka debe ser accesible públicamente y no estar detrás de un firewall o protegido en una red virtual. Si reside en una red protegida, conéctese a ella mediante la inserción de red virtual del conector Eventstream.

• Si tiene previsto usar la configuración de TLS/mTLS, asegúrese de que los certificados necesarios están disponibles en un Azure Key Vault:

  • Importe los certificados necesarios en Azure Key Vault en formato .pem.
  • El usuario que configura los datos de origen y de vista previa debe tener permiso para acceder a los certificados del Key Vault (por ejemplo, Key Vault usuario de certificado o Key Vault administrador).
  • Si el usuario actual no tiene los permisos necesarios, no se puede obtener una vista previa de los datos de esta fuente en Eventstream.

Iniciar el asistente "Seleccionar un origen de datos"

Si aún no ha agregado ningún origen a la secuencia de eventos, seleccione el icono Conectar orígenes de datos . También puede seleccionar Agregar origen>Conectar orígenes de datos en la cinta de opciones.

Si estás agregando el origen a una secuencia de eventos ya publicada, cambia al modo Edición. En la cinta de opciones, seleccione Agregar origen>Conectar orígenes de datos.

Configuración y conexión a Confluent Cloud para Apache Kafka

1. En la página Seleccionar un origen de datos, seleccione Confluent Cloud for Apache Kafka.

   

2. Para crear una conexión al origen de Confluent Cloud for Apache Kafka, seleccione Nueva conexión.

   

3. En la sección Configuración de conexión , escriba una o varias direcciones de servidor de arranque de Confluent Kafka en Configuración del clúster en la página principal del clúster de Confluent Cloud. Separe varias direcciones con comas (,).

4. En la sección Credenciales de conexión, si tiene una conexión existente al clúster de Confluent, selecciónela en la lista desplegable de Conexión. De lo contrario, siga estos pasos:

   1. Para Nombre de conexión, introduzca un nombre para la conexión.
   2. En Tipo de autenticación, confirme que Clave de Confluent Cloud esté seleccionado.
   3. Para Clave de API y Secreto de clave de API:

      1. Acceda a Confluent Cloud.

      2. Seleccione Claves de API en el menú lateral.

      3. Seleccione el botón Agregar clave para crear una nueva clave de API.

      4. Copie la Clave de API y el Secreto.

      5. Pegue esos valores en los campos Clave de API y Secreto de clave de API.

         Nota:

         Si solo usa mTLS para realizar la autenticación, puede agregar cualquier cadena en la sección Clave durante la creación de la conexión.

      6. Seleccione Conectar

         

5. Desplácese para ver la sección Configurar Confluent Cloud para el origen de datos de Apache Kafka en la página. Escriba la información para completar la configuración del origen de datos de Confluent.

   1. En Nombre del tema, introduzca un nombre de tema de Confluent Cloud. Puede crear o administrar el tema en Confluent Cloud Console.

   2. En Grupo de consumidores, introduzca un grupo de consumidores de Confluent Cloud. Proporciona un grupo de consumidores dedicado para obtener eventos del clúster de Confluent Cloud.

   3. Para la configuración de restablecer desplazamiento automático, seleccione uno de los siguientes valores:

      • Más antiguo – los datos más antiguos disponibles en el clúster de Confluent.
      • Más reciente : los datos disponibles más recientes.
      • Ninguno : no establezca automáticamente el desplazamiento.

      Nota:

      La opción Ninguno no está disponible durante este paso de creación. Si existe un desplazamiento confirmado y desea usar Ninguno, primero puede completar la configuración y, a continuación, actualizar la configuración en el modo de edición de Eventstream.

   4. Si el clúster de Kafka requiere mTLS, expanda la configuración de TLS/mTLS y configure las siguientes opciones según sea necesario.
      Cuando tanto el certificado de CA de confianza como el certificado de cliente y la clave están habilitados y configurados, el sistema usa automáticamente mTLS para establecer la conexión. No se requiere ninguna selección de protocolo de seguridad independiente.

      • Certificado de entidad de certificación de confianza: habilite esta opción para configurar el certificado de ca del servidor. Seleccione la suscripción, el grupo de recursos y el almacén de claves y proporcione el nombre del certificado.
      • Certificado de cliente y clave: habilite esta opción para configurar el certificado y la clave de cliente.
        • Use el mismo almacén de claves de certificado CA: active esta casilla cuando ambos certificados se almacenen en el mismo almacén de claves. A continuación, proporcione el nombre del certificado.
        • Si no activa esta casilla, seleccione la suscripción, el grupo de recursos y el almacén de claves y proporcione el nombre del certificado.

      Nota:

      La configuración de TLS/mTLS de esta sección se encuentra actualmente en versión preliminar.

      Para orígenes en una red privada, asegúrese de que el Azure Key Vault que contiene sus certificados esté conectado a la red virtual de Azure utilizada por la puerta de enlace de datos de la red virtual de streaming para la inyección de red virtual del conector de Eventstream (por ejemplo, a través de un punto de conexión privado).

      

   5. Puede expandir Configuración adicional para configurar el nombre de host de comprobación de TLS, los conjuntos de cifrado TLS y el modo de revocación de TLS:

      • Verificar nombre de host en TLS: controla si la verificación del nombre de host está habilitada para la conexión TLS. El valor predeterminado es True.
      • Conjuntos de cifrado TLS: especifica qué conjuntos de cifrado TLS puede usar el cliente. El valor predeterminado es Usar valores predeterminados del sistema.
      • Modo de revocación TLS: controla si la comprobación de revocación de certificados de cliente está habilitada para la conexión TLS. El valor predeterminado es Desactivado.

      

Requisitos de certificados TLS/mTLS

Si configuró la configuración de TLS/mTLS, consulte esta sección para ver las especificaciones de formato de certificado y errores de configuración comunes al cargar en Azure Key Vault.

Cadena de certificados

Requisitos de SAN de certificado de servidor

El certificado de servidor debe incluir la dirección IP del intermediario y el nombre DNS en el Nombre Alternativo del Sujeto (SAN) para pasar la verificación del nombre de host (ssl.endpoint.identification.algorithm=https):

subjectAltName:
  DNS.1 = {broker FQDN}
  DNS.2 = localhost
  IP.1  = {broker public IP}
  IP.2  = 127.0.0.1

Carga de certificados en Azure Key Vault

Los certificados se cargan como objetos de certificado Azure Key Vault en formato PEM. El archivo de agrupación PEM es certificado + clave privada concatenada en un archivo:

-----BEGIN CERTIFICATE-----
MIIExjCCA...
-----END CERTIFICATE-----
-----BEGIN RSA PRIVATE KEY-----
MIIEpAIB...
-----END RSA PRIVATE KEY-----

Use una directiva de importación que coincida con las propiedades clave:

{
  "secretProperties": {
    "contentType": "application/x-pem-file"
  },
  "keyProperties": {
    "exportable": true,
    "keyType": "RSA",
    "keySize": 4096,
    "reuseKey": false
  },
  "issuerParameters": {
    "name": "Unknown"
  }
}

Para importar el certificado, ejecute el siguiente comando:

az keyvault certificate import \
  --vault-name {kvName} \
  --name {certName} \
  --file {pemBundleFile} \
  --policy @{policyFile}

Errores comunes

Puedes ver que la fuente de Confluent Cloud para Apache Kafka se agrega a tu secuencia de eventos en el lienzo en modo de edición. Para implementar este origen de Confluent Cloud para Apache Kafka recién agregado, seleccione Publicar en la barra de herramientas.

Después de completar estos pasos, el origen de Confluent Cloud for Apache Kafka está disponible para su visualización en la vista en directo.

Contenido relacionado

Algunos otros conectores:

• Flujos de datos de Amazon Kinesis
• Google Cloud Pub/Sub
• Datos de ejemplo