Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nombre del pilar: Supervisión y detección de amenazas
Nombre del patrón: Modelado completo de amenazas de IA
Contexto y problema
El modelado de amenazas es un método estructurado para identificar, evaluar y abordar de forma proactiva los riesgos antes de convertirse en errores o ataques reales. Aunque el modelado de amenazas de software tradicional se centra en rutas de acceso de código predecibles y comportamiento determinista, los sistemas habilitados para IA rompen muchas de esas suposiciones.
Los sistemas de inteligencia artificial generativa y agente son probabilísticos, controlados por instrucciones y capaces de interpretar el lenguaje natural como intención ejecutable. Como resultado, los datos y las rutas de acceso de control se difuminan, surgen nuevos vectores de ataque y los errores a menudo se producen en puntos de integración en lugar de en componentes aislados.
Entre los principales desafíos se incluyen:
- Comportamiento no determinista que impide el razonamiento sobre una única ruta de ejecución o un resultado.
- Sesgo de seguimiento de instrucciones que hace que los modelos sean susceptibles a la inyección de instrucciones y al control no deseado.
- Expansión del sistema a través de herramientas, memoria y agentes, aumentando el área de impacto y la acumulación de fallos.
- Riesgos centrados en el ser humano, como la dependencia excesiva, la erosión de la confianza y el daño de salidas convincentes pero incorrectas.
Estos desafíos subrayan la necesidad de enfoques de modelado de amenazas que tienen en cuenta explícitamente los riesgos específicos de la inteligencia artificial junto con los problemas de seguridad tradicionales.
Solución
El modelado de amenazas para sistemas de inteligencia artificial es una mentalidad de ingeniería en curso en lugar de una lista de comprobación única. Comienza con la identificación de lo que debe protegerse, comprender cómo se comporta el sistema real de un extremo a otro, modelar el uso indebido intencional y diseñar mitigaciones arquitectónicas que restringen el error.
Las organizaciones pueden usar estas funciones para estructurar las evaluaciones en curso de la siguiente manera:
- Identifique y priorice los recursos, incluidos los recursos no tradicionales, como la confianza del usuario, la corrección de respuestas, la privacidad de los datos y la integridad de las acciones del agente.
- Mapee la arquitectura real del sistema, incluida la construcción de solicitudes, el acceso a la memoria, la invocación de herramientas, la ingesta de datos externos y los puntos de aprobación humanos.
- Mapee escenarios de uso incorrecto basándose en la intención adversaria, evalúe el impacto y la probabilidad para informar su plan de respuesta, y diseñe mitigaciones directamente en la arquitectura.
- Documente flujos de datos de IA, límites de confianza y permisos de herramientas como parte de la fase de diseño. Aplique el acceso a herramientas con privilegios mínimos y limitación de alcance, controles con intervención humana y la separación explícita de instrucciones y datos.
- Use el registro y la observabilidad para detectar el uso incorrecto, las acciones de atributo y refinar las mitigaciones a lo largo del tiempo.
Orientación
Las organizaciones pueden adoptar un patrón similar mediante las siguientes prácticas accionables:
| Caso de uso | Acción recomendada | Resource |
|---|---|---|
| Administración de datos confidenciales de la aplicación GenAI | Trate todas las entradas externas como que no son de confianza y aíslelas de las instrucciones del sistema. | Modelado de amenazas en IA y ML, sistemas y dependencias |
| Flujos de trabajo agente con acceso a herramientas | Aplique el principio de privilegio mínimo al ámbito de la herramienta y exija confirmación para las acciones de alto riesgo. | OWASP-Agentic IA: amenazas y mitigaciones |
| Coordinación con varios agentes | Defina explícitamente las relaciones de confianza y los permisos entre agentes. | ID de Microsoft Entra Agent |
| Soporte técnico para la toma de decisiones de alto impacto | Agregar señalización de incertidumbre y límites de protección para evitar la dependencia excesiva | Diseño de mensajes de Microsoft Foundry-System |
| Sistemas de IA de producción | Implementar registros, atribución y seguimientos de auditoría para solicitudes, herramientas y resultados | Respuesta ante incidentes de Microsoft |
Ventajas
- Detección anterior del mal uso, abuso o comportamiento anómalo.
- Mejor alineación entre el diseño del sistema y el riesgo real.
- Menor probabilidad de errores catastróficos o de inteligencia artificial en cascada.
- Se ha mejorado la confianza del usuario a través del comportamiento del sistema explicable y auditable.
Ventajas y desventajas
- Se ha agregado complejidad arquitectónica y esfuerzo de desarrollo.
- Los controles adicionales impactan en el rendimiento y la latencia.
- Sobrecarga operativa de los procesos de registro de eventos, revisión y aprobación humana.
Factores clave de éxito
Realice un seguimiento de estos KPI para medir el progreso:
- Los riesgos específicos de la inteligencia artificial se identifican tempranamente y se emparejan con mitigaciones claras y accionables (no solo documentadas).
- Las acciones de alto impacto o irreversibles se restringen intencionadamente a través de barreras de protección, como la validación, las comprobaciones de directivas o la aprobación humana.
- El comportamiento del sistema es explicable y imputable, con avisos, contexto y uso de herramientas rastreables para la depuración y la respuesta a incidentes.
- El uso incorrecto y las anomalías se muestran a través del registro y la observabilidad, no se detectan principalmente a través de informes de usuario.
Resumen
El modelado de amenazas para sistemas de inteligencia artificial amplía las prácticas de seguridad tradicionales para abordar el no determinismo, la confidencialidad de las instrucciones y la expansión del sistema a través de herramientas y agentes. Al centrarse en los recursos, el comportamiento real del sistema, el uso indebido intencional y la observabilidad, las organizaciones pueden diseñar sistemas de inteligencia artificial que produzcan errores de forma segura, contengan riesgos y mejoren con el tiempo en lugar de depender de controles frágiles y de última milla.