Estructura de una regla de recopilación de datos (DCR) de Azure Monitor

En este artículo se describe la estructura JSON de DCR para aquellos casos en los que es necesario trabajar directamente con su definición.

• Para más información sobre cómo trabajar con el json descrito en este artículo, consulte Creación y edición de DCR.
• Para obtener ejemplos de diferentes escenarios, consulte Sample DCR en Azure Monitor.

Propiedades

En la tabla siguiente se describen las propiedades en el nivel superior del DCR.

¹ Esta propiedad no se creó para DCRs creados antes del 31 de marzo de 2024. Los DCR creados antes de esta fecha requerían un punto de conexión de recopilación de datos (DCE) y que se especificara la propiedad dataCollectionEndpointId. Si desea usar estos DCE incrustados, debe crear un controlador de dominio nuevo.

Variante

La propiedad kind del DCR especifica el tipo de colección para la que se usa el DCR. Cada tipo de DCR tiene una estructura y propiedades diferentes.

En la tabla siguiente se enumeran los diferentes tipos de DCR y sus detalles.

Información general sobre el flujo de datos de DCR

El flujo básico de un DCR se muestra en el diagrama siguiente. Cada uno de los componentes se describe en las secciones siguientes.

El flujo de datos completo a través de un DCR sigue esta secuencia: Orígenes de datos → Flujos de entrada → Flujos de datos → Destinos. No todos los tipos dcR usan todos los elementos. En la tabla siguiente se muestran los elementos que se aplican a cada tipo DCR.

Con las transformaciones de varias fases, la transformations sección agrega canalizaciones de procesador que se aplican en la fase del origen de datos (lado cliente) o la fase de flujo de datos (lado de ingesta), en función de dónde se haga referencia a la transformación con nombre.

Flujos de entrada

La sección de flujo de entrada de un DCR define los datos entrantes que recopila. Dos tipos de flujos entrantes son posibles en función del escenario de recopilación de datos. La mayoría de los escenarios de recopilación de datos usan uno de los flujos de entrada, mientras que algunos escenarios usan ambos.

Los datos enviados desde la API de ingesta de registros usan un streamDeclaration con el esquema de los datos entrantes porque la API envía datos personalizados.

Los registros de texto del Agente de Azure Monitor (AMA) son un ejemplo de recopilación de datos que requiere dataSources y streamDeclarations. El origen de datos incluye la configuración para conectarse al origen de datos y streamDeclarations define el esquema de los datos entrantes.

Orígenes de datos

Los orígenes de datos son orígenes únicos de datos de supervisión, cada uno con su propio formato y método para exponer datos. Cada tipo de origen de datos tiene un conjunto único de parámetros que debe configurar para cada origen de datos. El origen de datos normalmente devuelve un tipo de datos conocido, por lo que no es necesario definir el esquema en el DCR.

Por ejemplo, los eventos y los datos de rendimiento recopilados de una máquina virtual mediante el agente de Azure Monitor (AMA) usan orígenes de datos como windowsEventLogs y performanceCounters. Especifique criterios para los eventos y contadores de rendimiento que desea recopilar, pero no es necesario definir la estructura de los datos en sí, ya que este esquema se conoce para los datos entrantes potenciales.

Parámetros comunes del origen de datos

Todos los tipos de origen de datos comparten los siguientes parámetros comunes.

Tipos de origen de datos válidos

En la tabla siguiente se enumeran los tipos de origen de datos disponibles actualmente.

¹ Estos orígenes de datos usan un origen de datos y una declaración de flujo, ya que el esquema de los datos que recopilan puede variar. La secuencia usada en el origen de datos debe ser la secuencia personalizada definida en la declaración de flujo.

Declaraciones de flujo

Declare los distintos tipos de datos que envíe al área de trabajo de Log Analytics. Cada secuencia es un objeto cuya clave representa el nombre de la secuencia, que debe comenzar con Custom-. La secuencia contiene una lista completa de las propiedades de nivel superior contenidas en los datos JSON que envía. La forma de los datos que envía al punto de conexión no tiene por qué coincidir con la de la tabla de destino. En su lugar, la salida de la transformación que se aplica sobre los datos de entrada debe coincidir con la forma de destino.

Tipos de datos

Asigne los siguientes tipos de datos a las propiedades:

• string
• int
• long
• real
• boolean
• dynamic
• datetime

El guid tipo no está disponible en las declaraciones de flujo. Si los datos de origen incluyen valores GUID, declare esas columnas como string. Tables API admite el guid tipo, pero los valores se almacenan y consultan como cadenas. Para obtener más información, vea Column data types in Azure Monitor Logs.

Destinos

Incluya una entrada para cada destino donde envíe los datos en la destinations sección . Coincide con estos destinos con flujos de entrada en la dataFlows sección.

Parámetros de destino comunes

Destinos válidos

En la tabla siguiente se enumeran los destinos disponibles.

Flujos de datos

Los flujos de datos coinciden con flujos de entrada con destinos. Cada origen de datos puede especificar opcionalmente una transformación y, en algunos casos, especificar una tabla específica en el área de trabajo de Log Analytics.

Propiedades del flujo de datos

Transformations

En la sección se transformations definen las transformaciones con nombre reutilizables a las que hace dataSources referencia y dataFlows. Cada transformación define una canalización de procesadores que se aplican secuencialmente a los datos. Consulte Transformaciones de varias fases para obtener detalles conceptuales.

"transformations": [
    {
        "name": "my_transform",
        "headerProcessor": {
            "processor": "header.Syslog",
            "configuration": { }
        },
        "processors": [
            {
                "processor": "filter.Basic",
                "configuration": {
                    "any": [
                        {
                            "all": [
                                {
                                    "columnName": "Facility",
                                    "operator": "==",
                                    "value": "auth"
                                }
                            ]
                        }
                    ]
                }
            }
        ]
    }
]

Propiedades del objeto de transformación

Processor (objeto)

Cada procesador es un bloque de creación declarativo que describe una operación de transformación de datos específica.

{
    "processor": "{family}.{Name}",
    "configuration": { }
}

Tipos de procesador

En la tabla siguiente se muestran los procesadores disponibles en el lado cliente y en el lado de la ingesta.

• Los procesadores de encabezados del lado cliente se usan para las transformaciones del lado cliente asignadas a los orígenes de datos. No requieren ninguna configuración, ya que se conoce el esquema de los datos entrantes.
• Los procesadores de encabezados del lado de ingesta se usan para las transformaciones del lado de ingesta asignadas a los flujos de datos.

Procesadores de encabezado

Los procesadores de encabezado reciben datos sin procesar y los convierten en un formato tabular esquematizado conocido. Un procesador de encabezados debe ser el primer procesador de cualquier transformación.

encabezado. Syslog

Encabezado del lado cliente para orígenes de datos de syslog.

encabezado. WindowsEvents

Encabezado del lado cliente para Windows orígenes de datos del registro de eventos.

encabezado. WindowsPerformanceCounters

Encabezado del lado cliente para Windows orígenes de datos del contador de rendimiento.

encabezado. LinuxPerformanceCounters

Encabezado del lado cliente para orígenes de datos del contador de rendimiento de Linux.

encabezado. TextLog

Encabezado del lado cliente para archivos de registro de texto personalizados.

encabezado. IISLog

Encabezado del lado cliente para orígenes de datos de registro de IIS.

encabezado. WindowsFirewallLog

Encabezado del lado cliente para Windows orígenes de datos de registro del firewall.

encabezado. StandardStream

Se usa cuando la entrada es un flujo estándar, como Microsoft-Syslog o Microsoft-Event.

{
    "processor": "header.StandardStream",
    "configuration": {
        "streamId": "Microsoft-Syslog"
    }
}

Esquema de salida: igual que el esquema de tabla Log Analytics estándar correspondiente. Consulte Log Analytics referencia de tabla para ver los esquemas por tipo de recurso.

encabezado. CustomStream

Se usa cuando la entrada es una secuencia personalizada definida en streamDeclarations.

{
    "processor": "header.CustomStream",
    "configuration": {
        "streamId": "Custom-MyStream"
    }
}

Después de los procesadores de encabezado

Estos procesadores se ejecutan después del procesador de encabezados en una canalización de transformación. No todos los procesadores están disponibles en ambas fases. Consulte la tabla de aplicabilidad del procesador para determinar qué procesadores se admiten en el lado cliente, el lado de ingesta o ambos.

filter. Básico

Quita todos los registros en función de la evaluación de la condición. Las condiciones se estructuran como grupos OR de grupos AND.

{
    "processor": "filter.Basic",
    "configuration": {
        "any": [
            {
                "all": [
                    {
                        "columnName": "Facility",
                        "operator": "==",
                        "value": "auth"
                    }
                ]
            }
        ]
    }
}

Cada grupo AND tiene una all propiedad que contiene una matriz de objetos de condición:

Esquema de salida: igual que la entrada. Los registros se quitan, no las columnas.

mapa. Cambiar nombre

Cambia el nombre de una columna y, opcionalmente, cambia su tipo.

{
    "processor": "map.Rename",
    "configuration": {
        "all": [
            {
                "columnName": "OldName",
                "nameAs": "NewName",
                "typeAs": "string"
            }
        ]
    }
}

Esquema de salida: igual que la entrada, excepto para las columnas y columnas cuyo nombre ha cambiado.

mapa. Soltar

Quita una o varias columnas de los datos.

{
    "processor": "map.Drop",
    "configuration": {
        "columnNames": ["Column1", "Column2"]
    }
}

Esquema de salida: igual que la entrada, excepto las columnas eliminadas.

análisis. JsonPath

Analiza una cadena con formato JSON en una columna y extrae las claves especificadas en nuevas columnas.

{
    "processor": "parse.JsonPath",
    "configuration": {
        "columnName": "EventData",
        "all": [
            {
                "path": "$.user.name",
                "nameAs": "UserName",
                "typeAs": "string"
            }
        ]
    }
}

Propiedades del objeto de extracción:

Esquema de salida: igual que la entrada, además de nuevas columnas para cada clave extraída.

análisis. XmlPath

Analiza una cadena con formato XML en una columna y extrae los elementos especificados en nuevas columnas.

{
    "processor": "parse.XmlPath",
    "configuration": {
        "columnName": "RawXml",
        "all": [
            {
                "path": "/Event/System/EventID",
                "nameAs": "EventID",
                "typeAs": "int"
            }
        ]
    }
}

Las propiedades de configuración coinciden parse.JsonPathcon , excepto path usa la sintaxis XPath (por ejemplo, /Event/System/EventID o /Event/EventData/Data[@Name='SubjectUserName']).

Esquema de salida: igual que la entrada, además de nuevas columnas para cada elemento extraído.

análisis. CEFAttribute

Analiza los datos cef (formato de evento común) en una columna y extrae los campos especificados en nuevas columnas.

{
    "processor": "parse.CEFAttribute",
    "configuration": {
        "columnName": "Message",
        "all": [
            {
                "path": "deviceAction",
                "nameAs": "Action",
                "typeAs": "string"
            }
        ]
    }
}

Las propiedades de configuración coinciden parse.JsonPathcon , excepto path especifica el nombre de clave CEF.

Esquema de salida: igual que la entrada, además de nuevas columnas para cada campo extraído.

agregado. Básico

Resume los registros mediante operadores de agregación con dimensiones de agrupación.

{
    "processor": "aggregate.Basic",
    "configuration": {
        "batchingSettings": {
            "timeWindow": "5m",
            "maxBatchRows": 1000
        },
        "aggregates": [
            {
                "columnName": "CounterValue",
                "operator": "avg",
                "nameAs": "AvgValue"
            },
            {
                "operator": "count",
                "nameAs": "RecordCount"
            }
        ],
        "dimensionColumns": ["Host", "CounterName"]
    }
}

Propiedades de entrada de agregado:

Esquema de salida: la agregación cambia completamente el esquema de salida. La salida contiene solo las columnas de agregado y las columnas de dimensión. Enrutar los datos agregados a una tabla personalizada independiente.

enrich. DNSLookup

Busca una dirección IP en una columna y agrega una columna de nombre DNS.

{
    "processor": "enrich.DNSLookup",
    "configuration": {
        "columnName": "IPAddress",
        "nameAs": "DNSName"
    }
}

Esquema de salida: igual que la entrada, además de una nueva columna para el nombre DNS resuelto. La resolución DNS es el mejor esfuerzo. Si se produce un error en la búsqueda, la columna de salida contiene null.

transform. KQL

Aplica una expresión KQL personalizada para escenarios avanzados. Este procesador es solo en la ingesta y proporciona una validación limitada de KQL. Las DCR existentes que usan transformKql en flujos de datos tienen una ruta de migración sencilla con este procesador.

{
    "processor": "transform.KQL",
    "configuration": {
        "expression": "source | where SeverityNumber >= 4 | extend EnrichedMsg = strcat(Host, ': ', Message)"
    }
}

Esquema de salida: definido por KQL y no se puede validar estáticamente.

Contenido relacionado

• Introducción a las reglas de recopilación de datos y métodos para crearlas
• Crear y editar reglas de recopilación de datos (DCR) en Azure Monitor
• Transformaciones Multi-stage en Azure Monitor
• Crear una transformación en Azure Monitor
• Recopilación de datos de clientes de máquina virtual