Uso de la supervisión de riesgos y seguridad en Microsoft Foundry (versión preliminar) (clásico)

Solo se aplica a:Portal de Foundry (clásico). Este artículo no está disponible para el nuevo portal de Foundry. Obtenga más información sobre el nuevo portal.

Cuando se usa una implementación de modelo de OpenAI Azure con un filtro de contenido, es posible que desee comprobar los resultados de la actividad de filtrado. Puede usar esa información para ajustar aún más la configuración de filter para satisfacer sus necesidades empresariales específicas y los principios de inteligencia artificial responsable.

Microsoft Foundry proporciona un panel de control de riesgos y seguridad para cada una de las implementaciones que utiliza una configuración de filtro de contenido.

Acceso a riesgos y monitoreo de seguridad

Para acceder a la supervisión de riesgos y seguridad, necesita un recurso de Azure OpenAI en una de las regiones de Azure admitidas: Este de EE. UU., Suiza Norte, Francia Central, Suecia Central, Este de Canadá. También necesita una implementación de modelo que use una configuración de filtro de contenido.

Vaya a Foundry e inicie sesión con las credenciales asociadas al recurso de OpenAI de Azure. Seleccione un project. Después, seleccione la pestaña Modelos y puntos de conexión de la izquierda y luego la implementación del modelo en la lista. En la página de la implementación, seleccione la pestaña Supervisión en la parte superior. A continuación, seleccione Abrir en Azure Monitor para ver el informe completo en el portal de Azure.

Configuración de métricas

Descripción del informe

Los datos de filtrado de contenido se muestran de las maneras siguientes:

• Número total de solicitudes bloqueadas y velocidad de bloqueo: esta vista muestra una vista global de la cantidad y la tasa de contenido que se filtra con el tiempo. Esto le ayuda a comprender las tendencias de las solicitudes perjudiciales de los usuarios y a ver cualquier actividad inesperada.
• Solicitudes bloqueadas por categoría: esta vista muestra la cantidad de contenido bloqueado para cada categoría. Se trata de una estadística general de solicitudes perjudiciales en el intervalo de tiempo seleccionado. Actualmente admite las categorías de daños por odio, sexuales, autolesiones y violencia.
• Tasa de bloqueo a lo largo del tiempo por categoría: esta vista muestra la tasa de bloqueo para cada categoría a lo largo del tiempo. Actualmente admite las categorías de daños por odio, sexuales, autolesiones y violencia.
• Distribución de gravedad por categoría: esta vista muestra los niveles de gravedad detectados para cada categoría de daño, en todo el intervalo de tiempo seleccionado. Esto no se limita al contenido bloqueado, sino que incluye todo el contenido marcado por los filtros de contenido.
• Distribución de la tasa de gravedad a lo largo del tiempo por categoría: esta vista muestra las tasas de los niveles de gravedad detectados a lo largo del tiempo, para cada categoría de daño. Seleccione las pestañas para cambiar entre las categorías admitidas.

Acciones recomendadas

Ajuste la configuración del filtro de contenido para alinearse aún más con las necesidades empresariales y los principios de inteligencia artificial responsable.

Detección de usuarios potencialmente abusivos

En el panel Detección de usuarios potencialmente abusivos se muestra información sobre los usuarios cuyo comportamiento ha provocado el contenido bloqueado. El objetivo es ayudarle a obtener una vista de los orígenes de contenido dañino para que pueda realizar acciones con capacidad de respuesta para asegurarse de que el modelo se usa de forma responsable.

Para usar la Detección de usuarios potencialmente abusivos, necesita:

• Una configuración de filtro de contenido aplicada a tu implementación.
• Debe enviar información de identificador de usuario en las solicitudes de finalización de chat (consulte el parámetro user del parámetro Completions API, por ejemplo).

  Precaución

  Use cadenas GUID para identificar usuarios individuales. No incluya información personal confidencial en el campo usuario .

• Una base de datos Azure Data Explorer configurada para almacenar los resultados del análisis de usuarios (instrucciones a continuación).

Configuración de la base de datos de Azure Data Explorer

Con el fin de proteger la privacidad de los datos de la información del usuario y administrar el permiso de los datos, se admite la opción de que nuestros clientes traigan su propio almacenamiento para obtener información detallada sobre la detección de usuarios potencialmente abusivos (incluidos el GUID de usuario y las estadísticas sobre solicitudes perjudiciales por categoría) almacenada de manera compatible y con control total. Siga estos pasos para habilitarlas:

1. En Foundry, vaya a la implementación del modelo con la que desea configurar el análisis de abuso de usuarios y seleccione Agregar un almacén de datos.
2. Rellene la información necesaria y seleccione Guardar. Se recomienda crear una nueva base de datos para almacenar los resultados del análisis.
3. Después de conectar el almacén de datos, siga estos pasos para conceder permiso para escribir resultados de análisis en la base de datos conectada:
   1. Vaya a la página del recurso de OpenAI de Azure en el portal de Azure y elija la pestaña Identity.
   2. Active el estado en Activado para la identidad asignada por el sistema y copie el identificador generado.
   3. Vaya al recurso de Azure Data Explorer en el portal de Azure, elija databases y, a continuación, elija la base de datos específica que creó para almacenar los resultados del análisis de usuarios.
   4. Seleccione permisosy agregue un rol de administrador a la base de datos.
   5. Pegue la identidad de Azure OpenAI generada en el paso anterior, y seleccione la que se ha buscado. Ahora la identidad del recurso de OpenAI de Azure está autorizada para leer y escribir en la cuenta de almacenamiento.
4. Conceda acceso a la base de datos de Azure Data Explorer conectada a los usuarios que necesitan ver los resultados del análisis:
   1. Vaya al recurso de Azure Data Explorer que ha conectado, elija control de acceso y agregue un rol de lector del clúster de Azure Data Explorer para los usuarios que necesiten acceder a los resultados.
   2. Elija bases de datos y elija la base de datos específica conectada para almacenar los resultados del análisis de abuso de nivel de usuario. Elija permisos y agregue el rol de lector de la base de datos para los usuarios que necesitan acceder a los resultados.

Descripción del informe

La detección de usuarios potencialmente abusivos se basa en la información de usuario que los clientes envían con sus llamadas API de OpenAI Azure, junto con el contenido de la solicitud. Se muestran las siguientes conclusiones:

• Recuento total de usuarios potencialmente abusivos: esta vista muestra el número de usuarios potencialmente abusivos detectados con el tiempo. Estos son usuarios para los que se detectó un patrón de abuso y que podrían presentar un alto riesgo.
• Lista de usuarios potencialmente abusivos: esta vista es una lista detallada de usuarios potencialmente abusivos detectados. Brinda la siguiente información para cada usuario:
  • UserGUID: el cliente lo envía a través del campo "usuario" en Azure API de OpenAI.
  • Puntuación de abuso: se trata de una figura generada por el modelo que analiza las solicitudes y el comportamiento de cada usuario. La puntuación se normaliza a 0-1. Una puntuación más alta indica un mayor riesgo de abuso.
  • Tendencia de la puntuación de abuso: el cambio de la puntuación de abuso durante el intervalo de tiempo seleccionado.
  • Evaluar fecha: fecha en que se analizaron los resultados.
  • Proporción/recuento total de solicitudes de abuso
  • Proporción/recuento de abusos por categoría

Acciones recomendadas

Combine estos datos con señales enriquecidas para validar si los usuarios detectados son realmente abusivos o no. Si lo son, realice una acción de respuesta, como la limitación o la suspensión del usuario para garantizar el uso responsable de la aplicación.

Paso siguiente

A continuación, cree o edite una configuración de filtro de contenido en Foundry.