Medición del impacto de los agentes

Cuando el agente pase a estar activo, cambie el foco de la intención a la evidencia. En este artículo se describen los cuatro factores de valor que estructuran su medición, las tablas de métricas que puede utilizar, el cálculo del retorno de la inversión (ROI) publicado por Microsoft y un ejemplo práctico de referencia.

Sugerencia

Para ver ejemplos de casos de uso específicos, consulte Guías de casos de uso para medir el valor del agente.

¿Por qué la medición se vuelve más difícil después del lanzamiento?

Tres patrones debilitan la propuesta de valor después del lanzamiento de un agente. Identifíquelos pronto para poder adaptar el diseño a ellos.

  • Medición que se detiene en la fase piloto. La instrumentación es fuerte durante el piloto y, a continuación, se deriva a medida que el agente se mueve a producción. Resuelva este problema mediante la inserción de medidas en el propio flujo de trabajo de implementación, por lo que cada agente de producción continúa emitiendo las señales de las que depende la revisión.
  • Actividad que no está relacionada con los resultados. Los recuentos de sesiones y usuarios muestran el uso, pero no son iguales que el valor. Asegúrese de que cada indicador clave de rendimiento (KPI) se pueda vincular a una palanca de valor que sea importante para la empresa.
  • La trampa de ahorro de tiempo. Reclamar valor basado en el ahorro de tiempo teórico por sí solo debilita la credibilidad. Construya una cadena de evidencia desde la adopción, pasando por los KPI operativos, hasta los resultados empresariales, para que el argumento del ROI sea realista y defendible.

Organice el valor en torno a cuatro impulsores de valor

El valor empresarial de los agentes normalmente se divide en cuatro categorías. Esta guía organiza sus métricas, tablas y planos técnicos de casos de uso en torno a estos controladores de valor, por lo que puede agrupar cada señal en una de ellas.

Impulsor de valor Qué mide Cómo ponerle precio
Eficiencia Horas productivas que tu equipo recupera y reinvierte en trabajo de mayor valor. Horas productivas devueltas × valor de hora productiva totalmente cargado.
Quality Reducción de errores, coherencia y cumplimiento. (Tasa de errores antes de - tasa de errores después) × volumen × costo por error.
Ingresos Incremento de ingresos procedente del negocio retenido, ampliado o nuevo. Delta de conversión o de desviación × volumen × ingreso unitario × descuento de atribución
Estrategia Velocidad de decisión, confianza de los empleados, opcionalidad y resistencia. Prima de opción de la capacidad más el valor de retención del talento más el valor de resiliencia.

Sugerencia

Las organizaciones que usan inteligencia artificial para cambiar lo que miden, en lugar de mejorar solo los KPI existentes, se dan cuenta de resultados financieros más sólidos a lo largo del tiempo. El impulsor del valor estratégico es fundamental porque la redefinición de las medidas empresariales aumenta los beneficios antes de los intereses e impuestos (EBIT) a lo largo del tiempo.

Selección de métricas cuantitativas que coinciden con cada controlador de valor

La función financiera y la auditoría interna pueden conciliar las métricas cuantitativas con respecto a los sistemas de registro.

Impulsor de valor Métricas para realizar un seguimiento Dónde leerlos
Eficiencia Horas ahorradas, Horas con asistencia de agente, Valor con asistencia de agente, tiempo de ciclo, tasa sin intervención, coste por transacción Calculadora de ahorro de Copilot Studio, Informe de agentes de Copilot Studio
Quality Tasa de resolución, resolución en el primer contacto, tasa de derivación, tasa de abandono, grado de fundamentación, puntuación de seguimiento de instrucciones Copilot Studio Analytics, rúbricas del kit de Copilot Studio
Ingresos Elevación de conversión, delta de retención, tasa de venta cruzada, capacidad del asesor (reuniones u oportunidades al día) Informe de impacto empresarial de Copilot
Estrategia Nuevas capacidades lanzadas, flujos de trabajo rediseñados, percepción de los empleados sobre la IA, señales de talento a partir de la contratación y la retención métricas personalizadas de Copilot Studio, Encuesta de impacto de Copilot de Viva Glint

Capte las señales cualitativas que los números no detectan

Las señales cualitativas capturan qué datos cuantitativos no pueden. Conectan la conversación con la forma en que las personas experimentan el agente y a menudo revelan ideas de rediseño que mejoran los cuatro impulsores de valor. Organice su programa cualitativo de la misma manera que organice su programa cuantitativo, por impulsor de valor.

Impulsor de valor Señal cualitativa a la que prestar atención Cómo capturar
Eficiencia Historias de responsables sobre la capacidad recuperada y cómo sus equipos la reinvierten. Entrevistas trimestrales estructuradas con tres o cuatro responsables de primera línea por agente, recogidas en la evaluación de valor del agente.
Quality Confianza del usuario en la salida del agente, especialmente cuando la salida alimenta una decisión. Reacciones de pulgar hacia arriba y hacia abajo y comentarios en texto libre recopilados en Análisis de Copilot Studio.
Ingresos Narración de la experiencia del cliente más allá de la puntuación de satisfacción del cliente (CSAT): tono, fricción, claridad y confianza. Conversation Analyzer en el Copilot Studio Kit, usando indicaciones personalizadas para analizar transcripciones recientes.
Estrategia Sentimiento de los empleados sobre la IA y señales de talento procedentes de los procesos de selección, las entrevistas de salida y las conversaciones de contratación. Encuesta de impacto de Viva Glint Copilot, además de canales de escucha de RR. HH. y comentarios sobre la contratación en campus.

Use indicadores adelantados y rezagados para mantenerse en el buen camino

Los indicadores de retraso confirman los resultados después de que se produzcan. Los indicadores delanteros muestran si va por buen camino con suficiente antelación para hacer ajustes. Incluya al menos uno por cada impulsor de valor en su revisión trimestral para actuar antes de que una desviación le pille por sorpresa.

Impulsor de valor Indicador adelantado Indicador de retraso
Eficiencia Tasa de adopción rutinaria a 30 días, cobertura de temas para las 10 preguntas principales de los usuarios. ROI anualizado, costo por transacción.
Quality Puntuación de fundamentación evaluada según una rúbrica en pruebas, tendencia de la tasa de valoraciones negativas. Variación de la tasa de errores con respecto a la línea base, conclusiones de auditoría evitados.
Ingresos Tasa de contención y tendencia de resolución en el primer contacto, reuniones de asesor por día. Variación de la retención, incremento de la conversión de canalización.
Estrategia Opinión de los empleados sobre la IA, número de flujos de trabajo en piloto. Nuevas funcionalidades lanzadas, aportación al EBIT atribuida a la cartera de agentes.

Aplicar la fórmula de horas asistidas por agente de Microsoft al agente

La fórmula de Horas asistidas por agente (AAH) utilizada en todo este artículo es la misma que Microsoft publica en el informe de agentes de Copilot Studio de Viva Insights. La página también incluye fuentes en línea para la fórmula, el multiplicador predeterminado de ahorro de tiempo, la tarifa por hora predeterminada y la ponderación de los resultados de la sesión.

Fórmula para agentes conversacionales

Horas asistidas por agente = (Referencias de conocimiento + Sesiones ponderadas sin referencias de conocimiento) × Multiplicador de ahorro de tiempo ÷ 60

  • Cada referencia de origen de conocimiento cuenta una vez y se multiplica por el multiplicador de ahorro de tiempo.
  • Las sesiones sin referencias de conocimiento se ponderan por resultado: los recuentos resueltos como 1,0 y los recuentos escalados o abandonados como 0,7.
  • El multiplicador de ahorro de tiempo predeterminado es de 6 minutos (origen: Microsoft investigación sobre tareas de recuperación de información).

Fórmula para agentes autónomos

Horas asistidas por agente = (Referencias de la base de conocimientos × ahorro en recuperación + Ahorro de tiempo de acción + Sesiones correctas sin acciones × ahorro genérico) ÷ 60

Utiliza esta variante cuando el agente se ejecute mediante un desencadenador de eventos y complete acciones por su cuenta. Los multiplicadores de recuperación, de acción y genéricos se pueden personalizar en la calculadora de informe de agentes de Copilot Studio.

Valor asistido por agente

Valor con asistencia de agente = Horas con asistencia de agente × tarifa por hora

La tarifa por hora predeterminada es de $72, en función de los datos de la Oficina de Estadísticas laborales de EE. UU. sobre los costos de los empleadores para la compensación de empleados. Para cambiar la tasa para reflejar su propia compensación totalmente cargada, seleccione la calculadora en la tarjeta Valor asistido por agente en el informe de agentes de Copilot Studio.

Example

En el ejemplo siguiente se utiliza un agente de atención al cliente que gestiona 10 000 sesiones activas en un mes. De esas sesiones, 5000 citan al menos una referencia de origen de conocimiento, promediando dos referencias por sesión. Las 5000 sesiones restantes no mencionan una referencia de conocimiento y se dividen en 3000 que resuelven y 2000 que escalan o abandonan.

  1. Cuente las referencias de la base de conocimiento: 5 000 sesiones con citas × dos referencias cada una = 10 000 referencias.
  2. Pondere las sesiones sin referencias de conocimiento: (3000 × 1,0) + (2000 × 0,7) = 4400.
  3. Agréguelos juntos: 10 000 + 4400 = 14 400.
  4. Aplique el multiplicador y convierta en horas: 14 400 × 6 ÷ 60 = 1440 horas al mes.
  5. Traducir al valor: 1440 × $72 = 103 680 USD al mes o aproximadamente 1,24 millones de dólares al año.

El agente devuelve 1440 horas de capacidad representativa cada mes. Estas horas permiten a los equipos centrarse en casos complejos, la atención proactiva a los clientes, la formación y las tareas que requieren un alto grado de criterio y que mejoran la retención con el tiempo.

Sugerencia

Busque más ejemplos en 16 funciones comunes, como recursos humanos, TI, finanzas, legal y servicio de campo, cada uno con entradas realistas y cálculos paso a paso, en Usar planos técnicos de casos para medir el valor del agente.

Maximizar el valor que obtiene la organización de los agentes

La licencia no es la inversión. La adopción es. La rentabilidad desigual de la inversión suele apuntar a brechas en el entrenamiento, el modelado de roles o la alineación del flujo de trabajo, no en una brecha tecnológica. Abordar esas áreas por orden de impacto.

  1. Haga que el entrenamiento estructurado basado en roles sea un requisito previo y entrene primero a los administradores para que puedan dirigir el cambio para sus equipos.
  2. Vincule cada agente a un flujo de trabajo identificado por su nombre y de alto volumen, porque los agentes que desvían una tarea específica de nivel 1 ofrecen un retorno de la inversión claro más rápido que los agentes orientados a la productividad genérica.
  3. Haga que los directivos den ejemplo en la adopción, porque su uso visible es el factor que más acelera la adopción habitual en toda la organización.
  4. Crear bibliotecas compartidas de prompts y actualizarlas mensualmente según los temas observados en Copilot Studio Analytics.
  5. Ofrezca límites de protección visibles porque los usuarios confían en la gobernanza que pueden ver.
  6. Mantén una cadencia de expansión, tratando el programa como una actividad trimestral recurrente. Elija un nuevo flujo de trabajo de gran volumen, compile o configure el agente, mida con respecto a la línea base durante 90 días, revise con el patrocinador y decida si escalarlo o retirarlo.

Aprende más:

Paso siguiente

Presente las métricas y los cálculos del ROI usando los tres niveles de medición de Copilot Studio, las herramientas de informes de Microsoft y una plantilla de cuadro de mando ejecutivo.