Comunique la propuesta de valor a las partes interesadas

Las métricas se convierten en un caso empresarial cuando llegan al público adecuado en un formulario que pueden comprender. En este artículo se tratan tres niveles de medida en Copilot Studio, las superficies de Microsoft que extienden esos niveles, la curva de valor a lo largo del tiempo, un ritmo operativo de cinco pasos y una plantilla de cuadro de mandos de una página para la siguiente revisión ejecutiva.

Niveles de medición

Comience con el análisis de Copilot Studio

Cada agente que publique en Copilot Studio emite análisis desde la primera conversación. Copilot Studio Analytics documenta todos los indicadores clave de rendimiento (KPI) integrados.

Indicadores clave de rendimiento del agente conversacional

Los KPI del agente conversacional indican si el agente se está utilizando conforme a lo esperado, incluyendo si resuelve las preguntas o solicitudes de los usuarios.

Más información: Análisis de agentes conversacionales

KPI del agente autónomo

En el caso de los agentes que se activan mediante desencadenadores de eventos en lugar del chat con el usuario, los informes de análisis de Copilot Studio muestran los resultados de ejecución, el uso de desencadenadores, el uso de herramientas y el uso de las fuentes de conocimiento. Juntas, estas métricas indican si el agente autónomo está haciendo lo que ha diseñado para hacer.

Más información: Análisis de agentes autónomos

Señales de calidad y voz de los clientes

• Reacciones: reacciones de pulgar hacia arriba y hacia abajo, además de comentarios de texto libre, se conservan durante 28 días.
• CSAT: Encuesta de fin de conversación, puntuada entre 1 y 5.
• Sentimiento: porcentaje de sentimiento negativo calculado por IA en todas las sesiones.
• Temas: preguntas de los usuarios agrupadas por IA que revelan lagunas en la cobertura temática, con creación con un solo clic de conjuntos de pruebas para evaluación a partir de cualquier tema.
• Tasa y calidad de las respuestas generadas: muestra las preguntas sin responder y la calidad de las respuestas para su subsanación.
• Conclusiones generadas por IA: recomendaciones diarias sobre consultas de IA generativa sin respuesta con correcciones específicas de cobertura.

Más información: Análisis de agentes conversacionales

Calculadora de ahorros

Use la Calculadora de ahorro en la página de Análisis de su agente para introducir el tiempo o el dinero ahorrado estimados por ejecución o por herramienta. Copilot Studio calcula los totales en tiempo real en función de las ejecuciones completadas con éxito durante el período y los actualiza de forma retroactiva cuando cambias los datos de entrada. Puede crear un panel de retorno de la inversión (ROI) justificable sin necesidad de ingeniería de datos.

Métricas personalizadas

Defina hasta tres métricas personalizadas por agente mediante lenguaje natural. Copilot Studio genera una solicitud que evalúa una muestra de sesiones y muestra la métrica como un gráfico de anillo con etiqueta en Métricas personalizadas en la página Análisis.

Configuración del kit de Copilot Studio para la calidad y la gobernanza

El kit Copilot Studio es una solución que puede instalar para ampliar Copilot Studio funcionalidad con pruebas, gobernanza e informes entre agentes. Consulte las funciones de Analizador de conversaciones y KPI de conversación para ampliar su estrategia de análisis.

Uso de Aplicación de Azure Insights para la telemetría profunda

Para los agentes que participan en un proceso empresarial más amplio, Aplicación de Azure Insights captura seguimientos estructurados, dependencias, eventos empresariales personalizados y latencia de un extremo a otro. Conéctese desde el panel de Configuración>Análisis del agente. Una vez conectado, el agente emite mensajes registrados, eventos desencadenantes por temas y cualquier evento de telemetría personalizado generados por los temas.

KQL de ejemplo: sesiones y mensajes al día durante los últimos 30 días

En este ejemplo, la consulta del lenguaje de consulta Kusto (KQL) cuenta sesiones y mensajes al día durante los últimos 30 días, que es un punto de partida común para comprender los patrones de adopción y uso.

requests
| where timestamp > ago(30d)
| summarize sessions = dcount(session_Id), messages = count() by bin(timestamp, 1d)
| render timechart

El mismo patrón permite responder preguntas sobre los temas principales, la tasa de escalaciones a lo largo del tiempo, la latencia por agente, la recurrencia de errores y el volumen en horas punta. Obtenga más información en Capturar telemetría con Application Insights.

Extensión de la telemetría con herramientas de informes de Microsoft

Después de establecer los análisis de referencia en Copilot Studio, Copilot Studio Kit y Aplicación de Azure Insights, usa herramientas de generación de informes de Microsoft, como Viva Insights y los informes de Sistema de control de Copilot, para relacionar el uso, la calidad, la percepción y los resultados empresariales.

Revise el informe de agentes de Copilot Studio en Viva Insights

El informe de agentes de Copilot Studio es una plantilla de Power BI que se ejecuta desde la experiencia del analista de Viva Insights. El informe combina todos los agentes de su inquilino en un único conjunto de paneles: Información general del agente, Agentes más utilizados, Impacto del agente conversacional, Impacto del agente autónomo y las tarjetas personalizables Horas asistidas por agente y Valor asistido por agente.

Además de las métricas de Análisis de Copilot Studio, el informe de agentes de Copilot Studio muestra:

• Horas asistidas por agente y Valor asistido por agente, calculados según la fórmula publicada por Microsoft, con una calculadora que puede reemplazar para reflejar su propia tasa de productividad por hora.
• Resúmenes agregados de agentes para poder comparar 10 agentes a la vez, en lugar de leer 10 páginas de Análisis por separado.
• Gráficos de tendencias sobre interacción, satisfacción y resolución que van más allá de la ventana nativa de 30 días en Copilot Studio Analytics
• Métricas conversacionales y autónomas lado a lado, lo que resulta útil cuando su portafolio incluye ambas

Conecta el uso de Copilot con los resultados empresariales mediante el informe sobre el impacto empresarial de Copilot

Compruebe cómo el uso de Copilot afecta a las métricas de resultados de negocio que su organización ya supervisa mediante el informe de impacto empresarial de Copilot. Estas métricas incluyen ofertas cerradas, casos resueltos, entrega a tiempo y notificaciones procesadas. Cargue sus propios datos de resultados en Viva Insights. El informe combina esos datos con los datos de uso de Copilot, para que pueda comprender la relación e identificar en qué áreas una mayor adopción generaría el mayor valor en los resultados.

Para usar este informe de forma eficaz:

• Identifique los comportamientos de uso de Copilot más asociados a resultados empresariales favorables, como la intensidad, la amplitud de las características y la coherencia.
• Encuentre los equipos o las funciones con menor adopción y mayores diferencias en los resultados para poder orientar su presupuesto de capacitación.
• Cuantifique el valor no aprovechado o cuánto Valor Asistido por Agente adicional podría obtenerse si las cohortes de bajo uso pasaran a un uso alto.
• Integre el análisis resultante en su cuadro de mando ejecutivo para que el argumentario de valor se sustente en sus propias métricas organizativas, no en benchmarks genéricos.

Seguimiento de la adopción y el impacto en la Panel de Copilot

El Panel de Copilot en Viva Insights es la superficie estratégica de adopción e impacto para Microsoft 365 Copilot y los agentes que lo extienden. El panel tiene tres pestañas que interesan a su patrocinador: Adopción (quién usa Copilot, con qué frecuencia y en qué aplicaciones), Impacto (patrones del entorno de trabajo, opinión procedente de Pulse y Glint, y horas asistidas por Copilot) y Valor (el valor en dólares de esas horas asistidas).

Utilice el panel de Copilot para ofrecer a su patrocinador un informe periódico sobre cómo Copilot está cambiando el trabajo en su organización. El panel proporciona:

• Frecuencia de adopción rutinaria e intensidad de uso en el nivel de función, por lo que puede ver qué equipos están avanzando y qué necesitan ayuda.
• Los cambios de patrón del área de trabajo, como las horas de reunión, el tiempo de concentración y el trabajo fuera del horario laboral, muestran cómo Copilot está cambiando la forma de trabajo, no solo el volumen.
• Estimaciones del impacto en la productividad que traducen las acciones de Copilot en horas y dólares, con una calculadora integrada que puedes ajustar para reflejar tu propia tarifa por hora productiva.
• Comparativas con referencias del sector que le ofrecen contexto para saber si su adopción va al ritmo esperado, por delante o por detrás de organizaciones similares.

Capturar cómo se sienten las personas con la encuesta de impacto de Viva Glint Copilot

La Encuesta de impacto de Copilot de Viva Glint es la plantilla de encuesta nativa de Glint publicada por Microsoft para medir cómo Copilot está cambiando la experiencia laboral de sus empleados. Los cuatro elementos clave (productividad, velocidad, esfuerzo y calidad) están estandarizados y devuelven señales de percepción al Panel de Copilot, para poder correlacionar la percepción con la adopción y el impacto en un solo lugar.

Para usar esta encuesta de forma eficaz:

• Establezca una línea de base de opinión antes del lanzamiento amplio y ejecute la encuesta sobre una cadencia periódica para ver la tendencia, no un único punto.
• Empareje la encuesta con los datos de uso para que pueda identificar las cohortes en las que la adopción alta coexiste con una opinión baja, lo que a menudo apunta a una brecha de entrenamiento o flujo de trabajo.
• Muestra los comentarios de respuesta abierta en la sección Voz de la sección Usuario de su cuadro de mandos, junto con CSAT y los temas del Analizador de conversaciones.

Integre todo con la medición y la generación de informes de Sistema de control de Copilot

El Sistema de control de Copilot es un marco de medición e informes. Aporta informes operativos en la Centro de administración de Microsoft 365, informes estratégicos en el Panel de Copilot e informes personalizables en Viva Insights en una vista de la preparación, adopción, impacto en la productividad y valor empresarial. Cuando las partes interesadas solicitan un lugar para ver la historia completa, apunte a este recurso.

El Sistema de control de Copilot proporciona:

• Informes operativos para asignaciones de licencias, facturación del agente e estado de implementación (Centro de administración de Microsoft 365).
• Informes estratégicos de adopción e impacto para patrocinadores y RR. HH. (Panel de Copilot).
• Análisis personalizado para analistas que quieran combinar Copilot datos con sus propias métricas organizativas (Viva Insights, el Informe de agentes de Copilot Studio y el informe de impacto empresarial de Copilot).
• Un único objetivo de gobernanza, por lo que los pilares de seguridad, administración y medición se ven como un sistema en lugar de tres esfuerzos independientes.

Cómo crece el valor en fases

Use esta tabla para comprender qué esperar en cada fase de adopción, desde los beneficios de eficiencia temprana hasta el valor estratégico a largo plazo.

Cinco pasos para desarrollar una disciplina de medición

Use estos cinco pasos para crear medidas en el ciclo de vida completo del agente, desde la planeación hasta la revisión en curso.

1. Antes de crear: defina qué significa el valor y acuerde uno o dos resultados que el agente pueda impulsar.
2. Antes de continuar: documente el estado de hoy. Tres números —tiempo por tarea, tasa de errores y coste por interacción— registrados antes del lanzamiento cuentan toda la historia de la medición.
3. At launch: Active la medición desde el primer día habilitando Copilot Studio Analytics, conectando Application Insights e instalando el kit de Copilot Studio. Cada día de falta de telemetría es una brecha que no se puede recuperar.
4. A los 30 y 90 días: conecte los datos a los pilares de valor, compare el movimiento con la línea base y asigne un nombre al pilar explícitamente en cada revisión.
5. Continuo: Convierta el ROI en un hábito y no en un informe. Programe la revisión de 90 días antes de que el agente pase a estar activo. Los equipos que miden de forma coherente son los equipos que detectan oportunidades de expansión.

Cree su cuadro de mandos ejecutivo

Las métricas de un panel de control no son las mismas que las de un cuadro de indicadores. Un cuadro de mandos cuenta una historia en una sola página. Use esta estructura para la revisión de valor trimestral.

Conclusion

Las organizaciones que capturan el valor empresarial real de los agentes de IA tratan la medición como un artefacto de producto de primera clase. Definen el éxito antes de desarrollar, establecen una línea base de telemetría, instrumentan a todos los agentes desde el primer día, revisan los resultados con una periodicidad regular junto con un patrocinador designado y comunican los resultados en el lenguaje que utilizan los directivos.

La pila de medición comienza con Copilot Studio y las analíticas de Copilot Studio, se amplía con Copilot Studio Kit y Aplicación de Azure Insights, y se completa con el informe de impacto empresarial de Copilot, el Panel de Copilot, la encuesta Viva Glint Copilot Impact Survey y el marco de medición y generación de informes de Sistema de control de Copilot.

Cuando se consigue este enfoque correcto, los agentes se convierten en infraestructura y los usuarios vuelven a invertir tiempo en juicio, creatividad y relaciones con los clientes, que es exactamente donde agregan el máximo valor.

Pasos siguientes

Dos artículos de referencia respaldan el trabajo de esta serie.

• Referencia de métricas del agente define cada métrica mencionada en los cuatro artículos, explica cada métrica de forma clara y sencilla, muestra los casos de uso a los que se aplica e identifica el producto de Microsoft en el que aparece.
• Los planos técnicos de casos de uso para medir el valor del agente proporcionan ejemplos prácticos en 16 funciones empresariales comunes. Cada ejemplo incluye entradas realistas y cálculos de horas asistidas por agente paso a paso que puede adaptar para su propio agente.