Cómo medir un agente de IA conversacional (y qué hacer con esos datos)

Intenté comprar un pasaje con un agente de IA y no pude. Después probé Rufus de Amazon y Netflix: mismo problema. Te cuento qué mirar en un agente conversacional y qué hacer con esos datos.

Hace unas semanas necesitaba comprar un pasaje a Lisboa. Entré a la plataforma de venta de pasajes que más uso y vi que habían lanzado un agente de IA. Dije: lo voy a probar.

Le escribí: necesito un pasaje para Lisboa en agosto, ayudame a encontrar el mejor precio.

Tuvimos algo de ida y vuelta, le di más contexto, y el agente me devolvió algunas opciones de vuelo.

Le pedí que lo comprara por mí. No pudo, eso ya me lo esperaba.

Pero cuando intenté comprar el primer vuelo haciendo click en el link que me había compartido, la página decía "lo sentimos, ha ocurrido un error". Probé con el segundo vuelo. Lo mismo. Con el tercero ni me redirigió: "hubo un problema al redirigirte a comprar. Por favor, intentá una nueva búsqueda".

Le pregunté qué pasaba. Me dijo que estaba con problemas técnicos.

Quince minutos después no había comprado nada. Y estaba bastante frustrado.

No era solo esa plataforma

Me quedó la duda: ¿sería solo esa plataforma? Empecé a probar agentes de otras empresas conocidas.

La mayoría ni siquiera había lanzado uno.

De las que sí:

Amazon tiene un agente que se llama Rufus. Le pedí recomendaciones de libros y las respuestas fueron buenas. Pero los links para comprar estaban rotos. No pude terminar ninguna compra.

Netflix directamente no me trajo buenas recomendaciones. Terminé buscando la película de forma manual, como siempre.

Dos conclusiones, bastante simples:

1. Pocas empresas lanzaron agentes de IA todavía.
2. Las que lo hicieron se quedan a mitad de camino. Todavía no reemplazan la búsqueda tradicional, y no ayudan al usuario como debería.

Las preguntas que me quedaron dando vueltas

Toda esa experiencia me generó más preguntas que respuestas:

¿Los agentes que ya existen están ayudando a sus usuarios?

¿Cómo medís la experiencia de alguien que interactúa con un agente?

¿Los usuarios que interactúan con el agente convierten o retienen más que los que no?

¿Y una vez que empezás a medir todo esto, qué hacés con esa data?

El número que confirma lo que viví

Hice algo de research y encontré el dato que le puso números a mi frustración.

77% de las empresas que lanzaron agentes de IA no tiene idea si están ayudando a sus usuarios.

93% planea implementar agentes en los próximos dos años.

La paradoja es esa: todos hablan de IA, casi nadie sabe si la propia funciona.

Y si no medís, no podés mejorar. Es tan simple como eso.

Por qué hay que medir un agente (sí o sí)

Hay tres razones concretas:

1. Entender adopción → ¿cuántos usuarios están usando el agente, realmente?
2. Identificar fricción → ¿en qué casos falla? ¿dónde genera frustración?
3. Demostrar impacto → los usuarios que interactúan con el agente, ¿convierten y retienen más que los que no? Si no podés responder esto, ¿para qué lo lanzaste?

Y hay una cuarta variable que casi nadie mira: el impacto interno. Si tu agente lo usan empleados (soporte, ventas, operaciones), la pregunta es la misma pero para adentro. ¿Los está haciendo más productivos, o es una herramienta más que suma fricción?

Clicks y pageviews no te dicen nada de esto

Acá hay un error común: medir un agente conversacional con las mismas métricas que usás para una página web. Clicks, pageviews, tiempo en pantalla.

Un agente no es una página. Es una conversación. Y una conversación no se mide en clicks, se mide en si resolvió o no lo que el usuario necesitaba.

Encuestas y NPS tampoco alcanzan. Te dan una foto general, pero no te dicen en qué mensaje puntual el agente se rompió, ni qué intención no supo resolver.

Necesitás mirar la conversación en sí. Y en LatAm eso incluye canales que en Estados Unidos casi no se usan, como WhatsApp: si tu agente vive ahí, tu forma de medirlo tiene que vivir ahí también.

Qué mirar en concreto

Organizá las métricas en tres grupos.

Adopción

→ Adoption rate: qué porcentaje de tus usuarios interactúa con el agente

→ Casos de uso emergentes: qué le están pidiendo que no anticipaste

→ Quiénes lo usan vs. quiénes no, y qué los diferencia

Fricción

→ Rage prompts: cuando el usuario repite o reformula porque no está conforme con la respuesta

→ Issues: errores puntuales del agente (accionable directo: ajustar el prompt)

Impacto

→ Impacto en retención: los usuarios que interactúan con el agente, ¿vuelven más?

→ Impacto en conversión: ¿completan más la acción que buscaban?

→ Time to complete: cuánto tarda alguien en lograr lo que necesita con el agente, versus el flujo tradicional

Cómo lo comprobamos: el workshop y la demo en vivo

Hace una semana hicimos un workshop contando en vivo estas mismas problemáticas. Mostramos, con ejemplos reales, cómo se ven estos errores en el día a día, y usamos una herramienta que se llama Pendo Agent Analytics, que te permite justamente eso: medir la performance de tus agentes, ver métricas básicas, y entender si están ayudando a tus usuarios o no.

Para la demo armamos una plataforma de viajes bien simple: podés comprar paquetes y vuelos a mano, o hablando con un agente. La dejamos online para que la prueben ustedes también: bildung-travel.lovable.app. Entren, interactúen con el agente, y fíjense qué errores encuentran. Es un buen ejercicio antes de seguir leyendo.

Esta fue la conversación que tuvimos en vivo:

"Estoy pensando en viajar a Japón en marzo, ¿qué paquetes tienen?"

→ La respuesta fue tan larga que era imposible de leer de un vistazo.

"Buscame los vuelos desde Buenos Aires saliendo el 23 de marzo para dos personas y decime el precio actual."

→ Respuesta larga otra vez. Y el agente no gestiona la venta, solo da información.

"¿Al menos podés abrirme Google Flights o Kayak con esa búsqueda hecha?"

→ Hice click. No cargó la búsqueda.

"Voy a buscar el vuelo yo. De igual forma quiero reservar el paquete para dos personas. ¿Me mandás el itinerario y el link de pago por mail?"

→ El mail nunca llegó.

Hasta ahí, todo lo que tenía era una sensación. Cinco minutos de frustración, sin ningún número detrás.

Lo que hicimos después es lo que muy pocas empresas hacen: fuimos a ver esa misma conversación adentro de Pendo Agent Analytics. Y ahí toda esa frustración se convierte en data concreta:

→ Rage prompts: quedó marcado el momento exacto en que insistí porque el mail no llegaba. Eso es frustración medida, no una impresión mía.

→ Use cases: la herramienta agrupa automáticamente todas las conversaciones por caso de uso, así ves si el problema que el agente debería resolver (en este caso, ayudarte a comprar un paquete) se está resolviendo o no, y también aparecen casos de uso nuevos que nadie había anticipado.

→ Issues: quedan marcados los errores puntuales de cómo está armado el agente, como no poder gestionar la venta o no enviar el mail. El accionable ahí es directo: ajustar el prompt o revisar la integración.

→ Conversaciones individuales: podés ver cada charla completa, conectada con session replay, para entender exactamente qué estaba pasando en la pantalla mientras el usuario hablaba con el agente.

Cada una de las fallas que tuve (la respuesta interminable, el link roto, el mail que nunca llegó) aparece ahí, ya clasificada. Sin una herramienta así, todo eso queda como "una mala sensación". Con ella, es una lista priorizada de accionables.

De la data a la acción: dos palancas

Una vez que medís, tenés literalmente dos palancas para tirar.

1. Ajustar el agente

Los datos te dicen exactamente dónde falla: qué preguntas no responde bien, qué intenciones no cubre, qué prompts generan frustración.

Ejemplo: los usuarios preguntan "¿el precio incluye el vuelo?" pero el agente no tiene esa info cargada.

→ Accionable: agregar contexto al system prompt.

Ejemplo: aparecen muchos rage prompts en preguntas de comparación tipo "¿qué es mejor, Patagonia o Nueva Zelanda?" y el agente responde algo genérico.

→ Accionable: mejorar la lógica de recomendación.

Un beneficio colateral que nadie menciona: cada mejora que reduce las idas y vueltas también reduce tokens consumidos. Eso es ahorro directo de costo para la empresa, no solo mejor experiencia.

2. Ajustar el producto

A veces el agente no tiene ningún problema. El problema es que está tapando un agujero que ya existía en el producto.

Ejemplo: el agente recomienda un destino, el usuario va a la página, pero vuelve al chat a preguntar "¿qué está incluido exactamente?".

→ El problema no es el agente. Es que la página de detalle no muestra bien el pricing.

→ Accionable: rediseñar la card del destino.

Ejemplo: muchos usuarios le preguntan al agente "¿qué destinos tienen por menos de $3.000?", pero ese filtro no existe en la página de destinos. Si esa intención aparece 40 veces en Agent Analytics, no es un capricho, es una señal clara.

→ Accionable: agregar el filtro de precio que debería haber estado ahí desde el principio.

El agente es un feature más

Esta es la idea con la que me quedo después de todo esto: un agente de IA es un feature más de tu producto. No es magia, no está aparte, no está exento de las mismas reglas que aplicás a cualquier otra parte de tu plataforma.

Y eso significa una sola cosa: hay que medirlo.

Si no medís si los usuarios que usan tu agente convierten y retienen más que los que no, tenés un lindo feature que le costó plata a la empresa. Nada más.

Ya escribimos antes sobre los 6 niveles de madurez de product analytics. La lógica para agentes es la misma, solo que casi nadie la está aplicando todavía. Ahí está la oportunidad.

Si estás por lanzar un agente, o ya lo lanzaste y no sabés bien qué está pasando con él, tenemos un assessment gratuito de 30 minutos para revisar qué medir y qué accionables tenés disponibles hoy.

Si necesitás ayuda midiendo tu agente, escribime a guido@bildungdata.com.