Integre Dataverse con datos empresariales en Microsoft Fabric mediante una arquitectura de medallón

Esta arquitectura de referencia muestra cómo integrar Dataverse con datos empresariales en Microsoft Fabric para crear una plataforma de análisis regulada mediante un enfoque medallion. Una arquitectura de medallón organiza los datos en capas de bronce, plata y oro para que los equipos puedan conservar los datos de origen sin procesar, crear conjuntos de datos integrados y reutilizables, y publicar modelos depurados y optimizados para experiencias analíticas y de IA. Más información sobre los principios de una arquitectura de medallón en ¿Qué es la arquitectura de lakehouse de medallón?

Diagrama de arquitectura

En un nivel alto, la arquitectura separa las responsabilidades de ingesta, transformación, gobernanza y consumo para que cada capa pueda escalar de forma independiente. Refleja los datos de Dataverse en OneLake mediante Link to Fabric, ingiere fuentes ajenas a Dataverse mediante canalizaciones de datos de Fabric y publica productos de datos depurados mediante modelos gobernados de la capa de oro para el consumo empresarial.

En el diagrama se muestran los controles de identidad y acceso en toda la arquitectura. Los datos ingresan mediante la replicación de Dataverse o la ingesta externa y avanzan por las capas de bronce, plata y oro. Power BI, Copilot, agentes de datos y experiencias de informes operativos consumen los datos.

Trate la gobernanza como un problema transversal en lugar de un único componente de arquitectura. La identidad, el control de acceso basado en roles (RBAC), el linaje, las canalizaciones de despliegue y los modelos semánticos certificados funcionan conjuntamente para controlar el acceso, gestionar los cambios y preservar la confianza a lo largo de todo el ciclo de vida de los datos.

Workflow

El flujo de trabajo sigue el ciclo de vida de los datos desde el acceso seguro y la ingesta mediante la transformación, el modelado regulado, el consumo y las operaciones de implementación.

Identidad y seguridad

Configure primero los controles de identidad y acceso, por lo que cada artefacto de nivel inferior Fabric hereda un modelo de seguridad regulado.

• Use el inicio de sesión único con JumpCloud como proveedor de identidades integrado con Microsoft Entra ID para acceder a Power Platform, Fabric y herramientas de consumo.

• Aplique el control de acceso basado en rol (RBAC) en el área de trabajo, elemento (Lakehouse, Warehouse, Eventhouse, Modelo semántico), objeto (tabla, vista, archivo) y niveles de fila y columna (RLS, CLS).

• Alinee los grupos de seguridad a personas: ingeniería, desarrolladores de inteligencia empresarial (BI), científicos de datos, analistas de negocios y creadores de aplicaciones.

Ingesta: Nivel de bronce

Bronze usa dos vías de ingesta: replicación administrada de Dataverse mediante Link to Fabric e ingesta impulsada por canalizaciones para orígenes ajenos a Dataverse.

• Linked Dataverse Lakehouse (Bronze): Aprovisionado y totalmente administrado a través de Link a Fabric. Refleja las tablas de Dataverse en OneLake con actualizaciones incrementales y formatos Parquet/Delta, y sirve como entrada autorizada y sin procesar del sistema de referencia para los dominios de Dataverse.

• Enterprise Data Warehouse (EDW) Lakehouse (Bronze : orígenes que no son de Dataverse): ingiere datos de sistemas externos, como archivos, API y aplicaciones de origen futuras. Las canalizaciones de datos de Fabric permiten la orquestación de procesos por lotes y ELT (extracción, carga y transformación), mientras que Dataflow Gen2 admite la ingesta sin código y de bajo código cuando resulte apropiado.

Transformación y conformidad: nivel plata

Aplicar la lógica de transformación usando el workload de Fabric correcto para cada tarea:

• Flujos de trabajo para orquestación, dependencias y planificación.
• Flujo de datos Gen2 para el modelado de entidades de poco código, la descodificación del conjunto de opciones y la conformidad ligera.
• Cuadernos (Spark/Python) para combinaciones escalables, historización (SCD) y ingeniería de datos avanzada.

Silver (normalizado): Normalizar las entidades de Dataverse (por ejemplo, Cuenta, Contacto, Oportunidad, Actividades). Simplificar entidades. Materializar búsquedas. Asociar conjuntos de opciones con etiquetas legibles. Alinee los identificadores entre sistemas. Normalice los orígenes que no son de Dataverse en dimensiones comunes y claves conformes.

Modelado seleccionado: nivel oro

Oro (esquema en estrella): Modelos depurados de hechos y dimensiones alineados con dominios de negocio (por ejemplo, Ventas, Pipeline, Visión 360 del cliente, Servicio). El diseño orientado al rendimiento incluye claves sustitutas, dimensiones de fecha, dimensiones degeneradas cuando sea necesario y estrategias incrementales o de particionado. El diagrama muestra la capa de oro como una casa de lago porque la eficiencia de costos es un objetivo de diseño principal. También puede usar un almacenamiento cuando la carga de trabajo requiere un modelado relacional más seguro, un desarrollo primero de SQL o características de gobernanza y rendimiento específicas del almacenamiento.

Después de depurar los productos de datos de nivel oro, los modelos semánticos proporcionan la capa empresarial gobernada que utilizan los informes, Copilot y los agentes de datos.

Modelos semánticos y consumo

• Cree modelos semánticos en oro, certifiquelos y guárdelos para servir a Power BI, experiencias Copilot y agentes de datos.

• Use el Linked Dataverse Lakehouse para informes operativos con una transformación mínima. Use «silver» u «gold» para el contenido empresarial a fin de favorecer la coherencia y la escalabilidad.

DevOps y ciclo de vida

La administración del ciclo de vida encapsula el flujo de trabajo para que los artefactos se muevan de forma coherente de desarrollo a producción con control de código fuente, validación y configuración específica del entorno.

• Integra el control de código fuente Git (Azure DevOps) con el espacio de trabajo de desarrollo para el control de versiones y la revisión por pares.

• Use las canalizaciones de implementación de Fabric para automatizar la promoción de desarrollo a pruebas y a producción con variables específicas del entorno, reglas de orígenes de datos y controles de validación.

• Asigne claramente la responsabilidad sobre los artefactos: el equipo de ingeniería se encarga de las canalizaciones y los cuadernos, el equipo de inteligencia empresarial (BI) de los modelos semánticos, y los responsables de producto gestionan los indicadores clave de rendimiento (KPI) y las definiciones.

El resultado es una canalización de análisis regulada en la que se conservan los datos de origen sin procesar, los datos conformes son reutilizables, los modelos mantenidos son de confianza y las experiencias de consumo son compatibles con capas semánticas certificadas.

Detalles del escenario

Objetivo principal: Ofrecer una base analítica escalable y mantenible para orígenes de Dataverse y de fuera de Dataverse que acelere los escenarios de Power Platform y prepare la capa de datos para Copilot y Enterprise BI.

Entre los objetivos clave se incluyen:

• Productos de datos coherentes (oro de esquema estrella) que potencian los modelos semánticos certificados.
• Integración directa con Power Apps (Dataverse) mediante Link to Fabric (duplicación administrada).
• Desarrollo controlado con la integración de Git y canalizaciones de implementación de Fabric (desarrollo → prueba → producción).
• Acceso seguro basado en roles a nivel de área de trabajo, elemento, objeto, filas y columnas.
• Datos centralizados de varios sistemas.
• Se ha mejorado la limpieza de los datos, la organización y la seguridad.
• Soporte para Copilot y escenarios de análisis.
• Opciones de herramientas y configuración rentables.

La arquitectura convierte estos objetivos en un patrón de Fabric regulado: los datos de Dataverse entran a través de Link a Fabric y los orígenes externos se ingieren a través de canalizaciones de Fabric. Ambos flujos se estructuran en capas de bronce, plata y oro antes de ponerse a disposición mediante modelos semánticos certificados para Power BI, Copilot, agentes de datos e informes operativos.

Components

Los siguientes componentes componen la arquitectura de referencia y admiten la identidad, la ingesta, la transformación, la gobernanza, la administración del ciclo de vida y el consumo.

Considerations

Estas consideraciones implementan los pilares de Power Platform Well-Architected, un conjunto de principios rectores que mejoran la calidad de una carga de trabajo. Obtenga más información en Microsoft Power Platform Well-Architected.

Reliability

Esta arquitectura está diseñada para proporcionar una entrega de datos coherente y resistente en las capas de ingesta, transformación y consumo.

• Managed Link para la creación de reflejos en Fabric reduce la lógica de extracción personalizada y disminuye el riesgo de errores de ingesta.

• La arquitectura de Medallion aísla los errores en bronce, plata y oro, por lo que los problemas de una capa no interrumpen la canalización de análisis completa.

• El procesamiento incremental, el ELT particionado y la orquestación que tiene en cuenta las dependencias reducen el tiempo de actualización y la contención de capacidad.

• La supervisión, las alertas y el control de reintentos ayudan a que los errores de canalización se muestren pronto y se recuperen sin volver a trabajar manualmente.

Security

Implemente la seguridad como preocupación de primera clase y aplíquela de forma coherente en las capas de identidad, datos y análisis.

• Use el inicio de sesión único con JumpCloud como proveedor de identidades integrado con Microsoft Entra ID para acceder a Power Platform, Fabric y herramientas de consumo aprobadas.

• Aplique RBAC en los niveles de área de trabajo, elemento, objeto y modelo semántico para permitir un acceso de privilegio mínimo alineado con los perfiles empresariales.

• Use la seguridad de nivel de fila y de columna para proteger los datos empresariales confidenciales en modelos semánticos y admitir la reutilización segura en varios informes.

• Use etiquetas de confidencialidad, respaldo, linaje y revisiones periódicas del acceso para ayudar a mantener un acceso a los datos fiable y conforme.

Excelencia operativa

Lograr la excelencia operativa a través de la estandarización, la automatización y una propiedad clara en todo el ciclo de vida del análisis.

• Use la integración de Git con Azure DevOps para habilitar el control de versiones, la revisión del mismo nivel y la rastreabilidad de los artefactos de Fabric.

• Use las canalizaciones de implementación de Fabric para estandarizar la promoción entre Dev, Test y Production, aplicar controles de validación y reducir los errores de despliegue manual.

• Asigne responsabilidades claramente definidas en los ámbitos de ingeniería, inteligencia empresarial y negocio para reforzar la rendición de cuentas operativa.

• Defina responsables, procesos de remediación, linaje y procedimientos operativos para las excepciones de calidad de los datos, de modo que pueda resolver los problemas antes de que afecten a los modelos certificados.

Eficiencia en el rendimiento

La arquitectura optimiza el rendimiento en las capas de almacenamiento, cómputo y semántica para dar soporte a escenarios de BI empresarial y de Copilot.

• El almacenamiento Delta y Parquet admiten una implementación eficaz de predicados y combinaciones escalables para cargas de trabajo analíticas de gran tamaño.

• Los esquemas en estrella de la capa Gold usan claves sustitutas, dimensiones conformadas y estrategias incrementales para mejorar el rendimiento de las consultas.

• Los modelos semánticos certificados con almacenamiento en caché y agregaciones reducen la latencia de consulta y descargan el cálculo repetido de capas de datos subyacentes.

• La aplicación de métricas de capacidad de Fabric supervisa el uso del almacenamiento y del proceso, analiza las necesidades de escalado e identifica los cuellos de botella del rendimiento.

Optimización de la experiencia

Esta arquitectura prioriza la facilidad de uso, la confianza y la productividad para los consumidores, creadores y analistas de datos.

• Los modelos semánticos certificados proporcionan un marco coherente de KPI y lógica empresarial para los informes aprobados y las experiencias asistidas por IA.

• Los carriles de transformación alineados con el conjunto de aptitudes, como Dataflow Gen2 para creadores de código bajo y cuadernos para ingenieros, ayudan a los equipos a trabajar de forma eficaz dentro de una sola plataforma.

• Las definiciones de KPI y glosario empresarial vinculadas a los modelos semánticos mejoran la interpretabilidad y reducen la ambigüedad de los usuarios empresariales.

• La generación de informes directa desde Linked Dataverse Lakehouse se limita a escenarios operativos en los que se acepta una transformación mínima de los datos y no se requiere coherencia semántica a nivel empresarial.

Conjuntamente, estas consideraciones ayudan a mantener la arquitectura confiable, segura, fácil de mantener, consciente de los costos, eficaz y fácil de adoptar a medida que se expande el uso.

Contributors

Microsoft mantiene este artículo. Los siguientes colaboradores escribieron este artículo.

Autores principales:

• Terra Gilbert, consultor técnico sénior

Recursos relacionados

• Descripción de la arquitectura de medallion Lakehouse para Fabric con OneLake
• Automatización de la integración de Git con una entidad de servicio en Azure DevOps
• Introducción a las canalizaciones de implementación