Modernización de los datos de sistema central y de rango medio

En este artículo se describe un plan de modernización de un extremo a otro para orígenes de datos de sistema central y de rango medio. La modernización ayuda a mejorar la escalabilidad y el rendimiento de las cargas de trabajo críticas.

Apache®, Spark y el logotipo de llama son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y/o en otros países. El uso de estas marcas no implica ninguna aprobación de The Apache Software Foundation.

Architecture

Descargue un archivo Visio de esta arquitectura.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

1. Los sistemas centrales y intermedios almacenan datos en los siguientes orígenes de datos.

   • Sistemas de archivos:

     • Método de acceso al almacenamiento virtual (VSAM)

     • Archivos planos

     • Sistema de archivos de cinta lineal

   • Bases de datos relacionales:

     • Db2 para z/OS

     • Db2 para IBM i

     • Db2 para Linux, Unix y Windows

   • Bases de datos no relacionales

     • Sistema de administración de información (IMS)

     • Adabas

     • Sistema integrado de administración de bases de datos (IDMS)

2. El proceso de conversión de objetos extrae definiciones de objetos de objetos de origen. El proceso convierte las definiciones en objetos correspondientes en el almacén de datos de destino.

   • Microsoft SQL Server Migration Assistant para Db2 migra esquemas y datos de bases de datos de IBM Db2 a bases de datos de Azure.

   • El proveedor de datos administrado para archivos de host convierte objetos. Proveedor de datos administrado de archivos de hosts:

     • Analiza los diseños de registros de COBOL y del Generador de Programas de Informes (RPG), o copybooks.

     • Asocia los copybooks con objetos de C# que usan las aplicaciones .NET.

   • La herramienta de conversión de esquemas Db2toAzurePostgreSQL, impulsada por IA, migra objetos de base de datos de Db2 a Azure Database for PostgreSQL.

   • Las herramientas de socios realizan la conversión automatizada de objetos en bases de datos no relacionales, sistemas de archivos y otros repositorios de datos.

3. Los datos se ingieren y transforman. Los sistemas centrales y intermedios almacenan sus datos del sistema de archivos en formato codificado con EBCDIC en formatos de archivo como:

   • Archivos VSAM indexados.

   • Archivos no indexados de Generation Data Group (GDG).

   • Archivos planos

     Los copybooks de COBOL, PL/I y del lenguaje ensamblador definen la estructura de datos de estos archivos.

   a. FTP transfiere los conjuntos de datos del sistema de archivos central y de rango medio y sus correspondientes copybooks a Azure. Estos conjuntos de datos tienen diseños únicos y campos desempaquetados en formato binario.

   b. La conversión de datos usa programas personalizados que dependen del componente de archivo host de Host Integration Server o del conector integrado para los archivos host de IBM en Azure Logic Apps.

   El convertidor de Spark Notebook usa marcos de Spark de código abierto y funciona con entornos de Spark como Microsoft Fabric y Azure Databricks.

   c. La solución migra los datos de la base de datos relacional.

   Los sistemas centrales y de rango medio de IBM almacenan datos en bases de datos relacionales como:

   • Db2 para z/OS.

   • Db2 para Linux, Unix y Windows.

   • Db2 para IBM i.

   Los siguientes servicios migran los datos de la base de datos:

   • Azure Data Factory usa un conector db2 para extraer e integrar datos de las bases de datos.

   • SQL Server Integration Services administra las tareas de extracción, transformación y carga de datos.

   • Fabric Data Factory usa el conector IBM Db2 para migrar datos de Db2.

   d. Se migran los datos de la base de datos no relacional.

   Los sistemas centrales y intermedios de IBM almacenan datos en bases de datos no rerelationales, entre las que se incluyen:

   • IDMS, un sistema de administración de bases de datos de modelo de red (DBMS).

   • IMS, un DBMS de modelo jerárquico .

   • Adabas.

   • Datacom.

   Los productos asociados integran datos de estas bases de datos.

4. Las herramientas de Azure como Azure Data Factory y AzCopy cargan datos en bases de datos de Azure y almacenamiento de datos de Azure. También puede usar soluciones de asociados y soluciones de carga personalizadas para cargar datos.

5. Azure proporciona varios servicios de base de datos, incluidos servicios de base de datos relacionales totalmente administrados, como Azure SQL Database y opciones de NoSQL, como Azure Cosmos DB. Estos servicios están diseñados para escalabilidad, flexibilidad y distribución global.

   Azure también proporciona una gama de soluciones de almacenamiento, como Azure Blob Storage para datos no estructurados y Azure Files para recursos compartidos de archivos totalmente administrados.

6. Azure servicios usan el nivel de datos modernizado para la informática, el análisis, el almacenamiento y las redes.

7. Las aplicaciones cliente también usan el nivel de datos modernizado.

Components

Esta arquitectura usa los siguientes componentes.

Almacenamiento de datos

• Azure Cosmos DB es una base de datos de varios modelos distribuida globalmente. En esta arquitectura, Azure Cosmos DB sirve como destino NoSQL escalable para la modernización de bases de datos no relacionales de mainframe.

• Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado basado en la edición comunitaria del motor de base de datos MySQL de código abierto. En esta arquitectura, Azure Database for MySQL proporciona otra opción de destino de base de datos relacional para los datos de sistema central migrados.

• Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado basado en la edición comunitaria del motor de base de datos PostgreSQL de código abierto. En esta arquitectura, Azure Database for PostgreSQL proporciona una base de datos de destino alternativa para la migración de datos relacionales del sistema central.

• SQL Database es una plataforma como servicio totalmente administrada basada en la nube. SQL Database proporciona características automatizadas con tecnología de inteligencia artificial que optimizan el rendimiento y la durabilidad. Las opciones de computación sin servidor y de almacenamiento de hiperescala escalan automáticamente los recursos según la demanda. En esta arquitectura, SQL Database actúa como base de datos de destino para migrar datos relacionales desde sistemas db2 del sistema central.

• Azure SQL Managed Instance es un servicio de base de datos en la nube totalmente administrado. SQL Managed Instance admite la mayoría de las características de SQL Server Enterprise y proporciona una implementación de red virtual nativa que aborda los problemas comunes de seguridad. En esta arquitectura, SQL Managed Instance sirve como destino para los datos del mainframe que requieren compatibilidad con SQL Server y características empresariales.

• Azure Data Lake Storage es un repositorio de almacenamiento que contiene grandes cantidades de datos nativos y sin procesar. Los almacenes de Data Lake están optimizados para escalar a terabytes y petabytes de datos. Normalmente, los datos proceden de varios orígenes heterogéneos y pueden ser estructurados, semiestructurados o no estructurados. En esta arquitectura, Data Lake Storage proporciona almacenamiento escalable para los datos convertidos del sistema de archivos del sistema central y sirve como área de almacenamiento provisional para la transformación de datos.

• Un Fabric lakehouse es una plataforma de arquitectura de datos para el almacenamiento, la administración y el análisis de datos estructurados y no estructurados en una sola ubicación. En esta arquitectura, un Fabric Lakehouse sirve como una plataforma de análisis unificada para los datos sin procesar del sistema central y los conjuntos de datos procesados.

• Base de datos SQL en Fabric es una base de datos transaccional fácil de usar para los desarrolladores, basada en SQL Database. Puede usarlo para crear la base de datos operativa en Fabric. La base de datos SQL en Fabric usa el mismo motor de base de datos SQL que SQL Database. En esta arquitectura, una base de datos SQL de Fabric proporciona una opción moderna de base de datos transaccional para los datos operativos del sistema central migrado.

Compute

• Azure Data Factory es un servicio de integración de datos basado en la nube que integra datos en distintos entornos de red mediante un entorno de ejecución de integración (IR), que es una infraestructura de proceso. Azure Data Factory copia datos entre almacenes de datos en la nube y almacenes de datos en redes locales mediante IRs autohospedados. En esta arquitectura, Azure Data Factory administra la migración de datos de orígenes del sistema central a destinos de Azure.

• La puerta de enlace de datos local es una aplicación cliente de Windows instalada localmente que actúa como puente entre los orígenes de datos locales y los servicios de Microsoft Cloud. En esta arquitectura, la puerta de enlace de datos local establece una conectividad segura entre los sistemas centrales y los servicios de Azure.

• Azure Virtual Machines es una infraestructura como servicio (IaaS) que proporciona recursos informáticos escalables a petición. Azure máquinas virtuales (VM) proporcionan flexibilidad de virtualización, pero eliminan las demandas de mantenimiento del hardware físico. Azure máquinas virtuales son compatibles con sistemas operativos como Windows y Linux. En esta arquitectura, Virtual Machines hospeda herramientas de migración, como SQL Server Migration Assistant para db2 y aplicaciones de conversión personalizadas.

Integradores de datos

• Azure Data Factory es un servicio de integración de datos híbrido. Azure Data Factory migra datos de orígenes db2 a destinos de base de datos de Azure mediante conectores nativos. En esta arquitectura, Azure Data Factory actúa como servicio de integración de datos principal para flujos de trabajo de migración de datos del sistema central.

• AzCopy es una utilidad de línea de comandos que mueve blobs o archivos a cuentas de almacenamiento y fuera de ellas. En esta arquitectura, AzCopy transfiere grandes volúmenes de datos del sistema de archivos del sistema central a Azure Storage durante el proceso de migración.

• SQL Server Integration Services es una plataforma para crear soluciones de transformación e integración de datos de nivel empresarial. En esta arquitectura, úsela para realizar tareas de transformación de datos durante la migración del sistema central, como:

  • Copia o descarga de archivos.

  • Carga del almacenamiento de datos.

  • Limpieza de datos y minería de datos.

  • Administración de objetos y datos de SQL Server.

• Host Integration Server las tecnologías y herramientas pueden integrar sistemas host, programas, mensajes y datos de IBM existentes con aplicaciones Azure. El componente cliente de archivo host proporciona flexibilidad para los datos convertidos de EBCDIC a ASCII. Por ejemplo, puede generar datos en formato JSON o XML a partir de los datos convertidos. En esta arquitectura, Host Integration Server convierte los datos codificados del mainframe en EBCDIC al formato ASCII para consumo en Azure.

• Azure Databricks es una plataforma de análisis de datos. Azure Databricks se basa en el sistema de procesamiento distribuido de código abierto de Apache Spark y está optimizado para la plataforma en la nube de Azure. En un flujo de trabajo de análisis, Azure Databricks lee datos de varios orígenes y usa Spark para proporcionar información.

• Fabric es una plataforma de análisis integral y lista para la empresa. Unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Fabric admite estas funcionalidades mediante los siguientes servicios integrados:

  • Ingeniería de datos de tejido

  • Fábrica de Datos de Fabric

  • Ciencia de datos de Fabric

  • Inteligencia en Tiempo Real de Fabric

  • Data Warehouse de Fabric

  • Bases de datos de tejido

En esta arquitectura, Fabric proporciona una plataforma de análisis completa para la modernización de datos del sistema central de un extremo a otro e inteligencia empresarial.

Otras herramientas

• SQL Server Migration Assistant para Db2 automatiza la migración de Db2 a los servicios de base de datos de Microsoft. En una máquina virtual, SQL Server Migration Assistant para Db2 convierte objetos de base de datos db2 en objetos de base de datos de SQL Server y crea esos objetos en SQL Server. En esta arquitectura, SQL Server Migration Assistant for Db2 convierte automáticamente los esquemas y objetos de la base de datos Db2 de mainframe para adaptarlos a destinos de base de datos de Azure.

• Proveedor de datos para archivos del host es un componente de Host Integration Server que usa conexiones sin conexión, de Arquitectura de red de sistemas (SNA) o TCP/IP.

  • Conexiones desconectadas Proveedor de datos lee y escribe registros en un archivo binario local.

  • Conexiones SNA. Proveedor de datos lee y escribe registros almacenados en conjuntos de datos remotos z/OS (sistema central de la serie IBM Z) o archivos físicos remotos de i5/OS (SISTEMAS IBM AS/400 e iSeries).

  • Conexiones TCP/IP. Solo los sistemas i5/OS usan conexiones TCP/IP.

  En esta arquitectura, Proveedor de datos para archivos de host proporciona conectividad y acceso a datos entre sistemas de archivos del sistema central y aplicaciones de Azure.

• Azure servicios proporcionan entornos, herramientas y procesos para el nuevo desarrollo y escalado de aplicaciones en la nube pública. En esta arquitectura, los servicios Azure proporcionan la plataforma en la nube de destino para las aplicaciones de sistema central modernizadas y las cargas de trabajo de análisis de datos.

Detalles del escenario

Las soluciones de almacenamiento de datos modernas, como la plataforma de datos Azure, proporcionan una mejor escalabilidad y rendimiento que los sistemas centrales y de rango medio. Puede acceder a estas ventajas si actualiza el sistema, pero puede resultar complicado actualizar la tecnología, la infraestructura y los procedimientos. Realice una investigación exhaustiva de las actividades empresariales y de ingeniería de su organización. Tenga en cuenta los procedimientos de administración de datos, visualización de datos e integración de datos.

Las modernizaciones correctas usan una estrategia de primero los datos. Este enfoque se centra en los datos en lugar del nuevo sistema, lo que hace que la administración de datos sea la pieza central de la estrategia de modernización. Reemplace las soluciones de datos fragmentadas y mal reguladas por una estrategia coordinada orientada a la calidad.

Esta solución utiliza componentes de la plataforma de datos de Azure en un enfoque basado en datos. En concreto, la solución implica:

• Conversión de objetos. Convierta las definiciones de objeto del almacén de datos de origen en los objetos correspondientes del almacén de datos de destino.
• Ingesta de datos. Conéctese al almacén de datos de origen y extraiga datos.
• Transformación de datos. Transforme los datos extraídos en estructuras de almacén de datos de destino adecuadas.
• Almacenamiento de datos. Inicialmente y carga continuamente datos desde el almacén de datos de origen al almacén de datos de destino.

Casos de uso potenciales

Puede beneficiarse de esta solución si desea:

• Modernice las cargas de trabajo críticas para la empresa.
• Adquiera inteligencia empresarial para mejorar las operaciones y obtener una ventaja competitiva.
• Quite los altos costos y la rigidez asociados a los almacenes de datos de sistema central y de rango medio.

Contributors

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

• Ashish Khandelwal | Director principal de arquitectos de ingeniería

Otros colaboradores:

• Nithish Aruldoss | Arquitecto de ingeniería
• Rodrigo Rodríguez | Arquitecto sénior de soluciones en la nube, IA y Quantum

Para ver perfiles de LinkedIn no públicos, inicie sesión en LinkedIn.

Paso siguiente

• guías de migración de Azure Database

Recurso relacionado

• Análisis de un extremo a otro con Fabric