patrón de arquitectura de Azure para cargas de trabajo de INTELIGENCIA ARTIFICIAL

En este diagrama se muestran los componentes clave de la carga de trabajo de aplicación inteligente que se van a incluir en el diseño.

Consideraciones de diseño

Al diseñar la arquitectura de carga de trabajo de la aplicación inteligente, tenga en cuenta las siguientes características de diseño para tomar decisiones fundamentadas sobre el diseño y las interacciones de los componentes.

Ciclo de vida y estado

La API de inteligencia, la orquestación, la inferencia y las capas de conocimiento son todos los servicios de larga duración que se ejecutan durante la vigencia de la carga de trabajo. Invertir en disponibilidad, supervisión y excelencia operativa para cada servicio.

Cada capa evoluciona a un ritmo diferente, por lo que necesita coordinación deliberada de la implementación. La API de inteligencia evoluciona lentamente para mantenerse estable y mantener la compatibilidad con versiones anteriores. Las capas de orquestación y agente evolucionan más rápidamente a medida que se agregan nuevas funcionalidades. La capa de inferencia se actualiza al implementar nuevos modelos. La capa de conocimiento evoluciona continuamente a medida que cambian los datos.

Los componentes sin estado se pueden asignar o desasignar a petición, mientras que los componentes con estado administran los datos que persisten en las interacciones.

Las capas de la API de Inteligencia, orquestación e inferencia son sin estado, lo que facilita la escalación añadiendo más instancias. La capa de orquestación puede contener el estado efímero durante la ejecución, pero no lo conserva más allá del control de solicitudes. El estado efímero reduce la complejidad operativa, pero limita las opciones de recuperación de errores, por lo que debe diseñar cuidadosamente teniendo en cuenta los reintentos y la idempotencia.

Los datos de la sesión de administración de conversaciones pueden durar de minutos a días. Las sesiones más largas permiten conversaciones más enriquecidas, pero cuestan más y aumentan el riesgo de privacidad. La capa de conocimiento almacena datos en índices y bases de datos que evolucionan a medida que se agrega, actualiza o quita información.

Compromiso. Las decisiones sobre la administración del estado y la vida útil afectan directamente al costo, la confiabilidad y el rendimiento. Los componentes con estado prolongado requieren una mayor inversión en escalado y resiliencia, mientras que los componentes efímeros sin estado son más rentables, pero pueden introducir latencia debido a inicios en frío o recuperación de estado externo.

Cobertura y dependencias

La API de inteligencia es el único punto de conexión expuesto públicamente en la arquitectura, todo lo demás permanece interno. Puede implementarlo en varias regiones para mantener a los usuarios cerca de un punto de conexión y mejorar la resistencia.

La capa de orquestación se encuentra en el centro, funciona dentro de la red y coordina todo, como el estado de conversación, las llamadas de modelo, la recuperación de conocimiento y la invocación de herramientas. Los errores aquí bloquean todo el sistema, por lo que hacen que sea de alta disponibilidad.

La capa de inferencia se ejecuta internamente sin dependencias externas. Impleméntelo cerca del orquestador para mantener la latencia baja.

Las capas de conocimiento y herramientas son internas, pero pueden depender de sistemas externos. Estas dependencias externas pueden presentar retrasos o problemas de disponibilidad que afectan a la calidad de la respuesta.

Compromiso. La implementación multirregional mejora el rendimiento y la resiliencia, pero aumenta el costo. La implementación de una sola región es más rentable, pero podría dar lugar a una mayor latencia para los usuarios lejos de la región.

Escalabilidad y disponibilidad

La aplicación inteligente tiene dos patrones de escalado. Capas sin estado como la API, la orquestación y la inferencia se escalan mediante la adición de más instancias. Las capas de datos, como la administración de conversaciones y la escala de conocimiento, distribuyen datos entre varios almacenes a través de mecanismos como réplicas de lectura, particionamiento y fragmentación.

La API de inteligencia se amplía para manejar más solicitudes. Implemente en varias zonas o regiones para mejorar la disponibilidad y mantener a los usuarios cerca de un punto de conexión.

La orquestación y el cómputo del agente se encuentran en el centro de tu sistema, por lo que los fallos aquí bloquean todo. Agregue más instancias, use el equilibrio de carga y tenga lista la conmutación por error para que el sistema siga ejecutándose cuando se produzca un error en las instancias individuales.

La capa de inferencia se escala en función de lo que necesitan los modelos. Agregue más instancias con GPU a medida que crece la demanda. Use la infraestructura como código (IaC) para volver a crear rápidamente entornos durante la recuperación.

La administración de conversaciones se escala con el número de usuarios simultáneos. Utilice copias y copias de seguridad para mantener los datos de sesión disponibles.

La capa de conocimiento se escala en función de la cantidad de datos que tiene y de la frecuencia con la que se consulta. Use la indexación eficaz y el ajuste de bases de datos para mantener las respuestas rápidas. Configure copias en varias ubicaciones para asegurar la disponibilidad.

Compromiso. Los componentes sin estado pueden escalarse rápidamente, pero podrían introducir latencia de arranque en frío. Los componentes de datos proporcionan durabilidad, pero requieren más planificación para el escalado. Equilibre estos factores en función de los requisitos empresariales y de carga esperados.

Seguridad e inteligencia artificial responsable

Cada capa de la aplicación inteligente conlleva diferentes riesgos y necesita sus propios controles. Las herramientas pueden desencadenar acciones en el mundo real, el conocimiento determina lo que sabe tu inteligencia artificial, y la inferencia produce salidas que ven los usuarios. Restrinja el acceso en cada capa, supervise lo que sucede y asegúrese de que puede explicar cómo se toman las decisiones.

La capa de herramientas conlleva el mayor riesgo porque las acciones pueden tener consecuencias reales que son potencialmente irreversibles. Para las operaciones de alto riesgo, agregue los pasos de aprobación humana. Use la autenticación estricta, el acceso con privilegios mínimos y la aplicación de privacidad de datos para evitar acciones no autorizadas y exposición de PII. Evalúe cada herramienta antes de integrarla para que la gobernanza se extienda más allá del límite de la carga de trabajo.

La capa de conocimiento necesita datos de alta calidad y no sesgados para generar salidas de confianza. Mantenga seguro el acceso a los datos mediante la autenticación, autorización y el cumplimiento de los requisitos de residencia de datos. El acceso de solo lectura y el aislamiento de red protegen contra la corrupción. Registre qué orígenes se recuperaron para cada respuesta a través de pistas de auditoría, este proceso le permite explicar las decisiones e investigar los problemas más adelante.

La capa de inferencia solo debe ser accesible para los roles de operaciones y la identidad de la capa de orquestación. Monitorizar las salidas a través de un servicio de validación que compruebe si hay toxicidad y otros problemas de seguridad. Valide los modelos antes de la implementación para detectar sesgos y mantenga listos los mecanismos de reversión si los problemas aparecen en producción.

En este diagrama se muestran los componentes clave de la carga de trabajo de entrenamiento y ajuste para incluir en el diseño.

Consideraciones de diseño

Al diseñar la arquitectura de carga de trabajo de entrenamiento y ajuste, tenga en cuenta las siguientes características de diseño para tomar decisiones fundamentadas sobre el diseño y las interacciones de los componentes.

Ciclo de vida y estado

Los componentes persistentes a largo plazo permiten el análisis histórico y el reentrenamiento del modelo en los datos anteriores. El almacén de agregación de datos, el almacén de características y el registro de modelos son almacenes persistentes a largo plazo que crecen con nuevas importaciones, características y versiones de modelo.

Los componentes efímeros permiten la eficiencia de los costos, pero requieren un control cuidadoso de errores y reinicios. La plataforma de procesamiento de datos y la plataforma de entrenamiento tienen una configuración de entorno de larga duración, pero sus recursos de proceso son efímeros, creados y escalados a petición para trabajos de canalización y entrenamiento.

La capa de inferencia no tiene estado y es efímera. Impleméntelo bajo demanda para el procesamiento por lotes ocasional o como un entorno de larga duración para canalizaciones frecuentes. El diseño sin estado permite el escalado horizontal y la recuperación sencilla de errores.

Compensación. Los componentes persistentes a largo plazo proporcionan durabilidad y contexto histórico, pero requieren costos de mantenimiento y almacenamiento continuos. Los componentes efímeros y sin estado son más rentables y escalables, pero requieren un control de errores sólido y pueden introducir latencia desde los inicios en frío.

Cobertura y dependencias

Mantenga los almacenes de datos, el procesamiento, el entrenamiento y la inferencia en la misma región para minimizar la latencia y el costo. Distribuir solo cuando los requisitos de residencia de datos lo exijan. La mayoría de los componentes son solo internos, lo que reduce la superficie expuesta a ataques, pero requiere acceso seguro para desarrolladores y operadores.

Puede distribuir orígenes de datos entre diferentes entornos y zonas geográficas. Son tu dependencia principal para importar los datos necesarios para el entrenamiento, ajuste fino o contextualización.

El almacén de agregación de datos es la dependencia principal de la plataforma de procesamiento de datos, desacoplarla de los orígenes de datos.

La plataforma de procesamiento de datos accede al almacén de características para almacenar características calculadas y la plataforma de entrenamiento accede a ella durante el entrenamiento. El componente de inferencia también puede necesitar acceso de solo lectura en función del tipo de modelo y requisitos específicos.

La plataforma de entrenamiento depende del almacén de características y de los datos agregados generados a partir del procesamiento. Escribe modelos entrenados en el registro de modelos, y esta se convierte en una dependencia para la inferencia.

El registro de modelos es único porque necesita acceso interno (para el entrenamiento para escribir modelos) y acceso externo (para que las aplicaciones de IA implementen modelos en entornos de inferencia). Utilice modelos de implementación de inserción para minimizar la exposición externa de los componentes confidenciales.

Escalabilidad y disponibilidad

Los componentes de entrenamiento deben crecer con los datos y permanecer disponibles cuando los necesite. Almacenes de datos como el Almacén de Agregaciones de Datos, el Almacén de Funciones y el Registro de Modelos escalan mediante la creación de particiones, la replicación y la indexación eficaz a medida que se agregan más datos, funcionalidades y modelos a lo largo del tiempo. Mantenga estos componentes altamente disponibles con estrategias de redundancia, copias de seguridad y conmutación por error para que los datos y los modelos sean accesibles siempre que la plataforma de entrenamiento o la inferencia los necesiten.

Plataformas de computación como el procesamiento de datos y el entrenamiento se escalan de manera diferente. Agregan más recursos a petición a medida que los trabajos de procesamiento y entrenamiento los necesitan. Use IaC para automatizar la recreación del entorno durante la recuperación ante desastres y agregue más recursos de proceso, como los nodos de GPU, a medida que aumenta la demanda.

La capa de inferencia normalmente controla el procesamiento por lotes en este contexto, por lo que la optimiza para el rendimiento en lugar de una latencia baja. Puede escalar horizontalmente con recursos de proceso menos costosos, ya que está procesando grandes volúmenes de datos sin necesidad de capacidad de respuesta en tiempo real.

Seguridad e inteligencia artificial responsable

Abordar la seguridad y la inteligencia artificial responsable en cada capa. Use defensa en profundidad con controles de acceso, cifrado y auditoría. Siga consistentemente el principio de privilegio mínimo: ETL obtiene acceso de solo lectura a las fuentes, el entrenamiento solo escribe en el registro de modelos, y la inferencia solo realiza lecturas. Mapee los flujos de datos para mantener los datos regulados en las regiones requeridas y controle quién accedió a qué, cuándo y por qué.

Los orígenes de datos son su punto de control más importante para la prevención de sesgos. Asegúrese de que los datos importados representan todos los tipos de asunto de forma justa. Si los datos no pueden salir de su región, ejecute la canalización de ETL allí para mantener el cumplimiento.

El almacén de agregación de datos y el almacén de características contienen información confidencial. Controlar quién puede acceder a qué subconjuntos de datos y seguir las reglas de residencia de datos a lo largo del ciclo de vida. Realice un seguimiento del linaje de datos para cada atributo calculado. Es la base de la explicación y permite realizar un seguimiento de las predicciones del modelo a los datos de origen.

La plataforma de procesamiento de datos es donde se evita activamente el sesgo. Restrinja las conexiones salientes a los almacenes de datos y servicios aprobados. Aquí es donde valida la calidad de los datos, filtra la profanidad, ofusca la información confidencial y equilibra la distribución de datos mediante el submuestreo de los grupos sobrerrepresentados o aumentando los infrarepresentados.

La plataforma de entrenamiento necesita aislamiento para mantenerla separada de la producción. Registre cada ejecución de entrenamiento mediante marcos como MLFlow, capturando qué datos se usaron, qué hiperparámetros intentó y cuáles fueron los resultados. Ejecute comprobaciones de sesgo, equidad y explicación cada vez que se detectan problemas antes de la implementación.

El registro de modelos es la puerta de gobernanza. Utilice principales de servicio y publique sumas de comprobación para poder validar modelos. Adjunte metadatos sobre los datos de entrenamiento, las evaluaciones y el linaje a todos los modelos para la transparencia. Gestionar la implementación en producción mediante revisiones de seguridad e inteligencia artificial responsable.

La capa de inferencia solo debe ejecutar modelos aprobados. Manténgalo aislado dentro de su entorno de análisis y supervise todas las salidas para detectar sesgo, toxicidad y otros patrones dañinos.