Como medir um agente de IA conversacional (e o que fazer com esses dados)

Tentei comprar uma passagem usando um agente de IA e não consegui. Depois testei o Rufus da Amazon e a Netflix: mesma história. Conto o que acompanhar em um agente conversacional, e o que fazer com esses dados.

Há algumas semanas eu precisava comprar uma passagem para Lisboa. Entrei na plataforma de venda de passagens que mais uso e vi que tinham lançado um agente de IA. Pensei: vou testar.

Escrevi: preciso de uma passagem para Lisboa em agosto, me ajuda a achar o melhor preço.

Trocamos algumas mensagens, dei mais contexto, e o agente me devolveu algumas opções de voo.

Pedi para ele comprar por mim. Não conseguiu, isso eu já esperava.

Mas quando tentei comprar o primeiro voo clicando no link que ele tinha compartilhado, a página dizia "desculpe, ocorreu um erro". Tentei o segundo voo. Mesma coisa. No terceiro, nem me redirecionou: "houve um problema ao te redirecionar para a compra. Por favor, tente uma nova busca".

Perguntei o que estava acontecendo. Ele disse que estava com problemas técnicos.

Quinze minutos depois eu não tinha comprado nada. E estava bem frustrado.

Não era só aquela plataforma

Fiquei com a dúvida: será que era só aquela plataforma? Comecei a testar agentes de outras empresas conhecidas.

A maioria nem tinha lançado um ainda.

Das que tinham:

A Amazon tem um agente chamado Rufus. Pedi recomendações de livros e as respostas foram boas. Mas os links de compra estavam quebrados. Não consegui finalizar nenhuma compra.

A Netflix simplesmente não me trouxe boas recomendações. Acabei procurando o filme manualmente, como sempre.

Duas conclusões, bem simples:

1. Poucas empresas lançaram agentes de IA até agora.
2. As que lançaram ficam pelo caminho. Ainda não substituem a busca tradicional, e não ajudam o usuário como deveriam.

As perguntas que ficaram na minha cabeça

Toda essa experiência me deixou com mais perguntas do que respostas:

Os agentes que já existem estão ajudando os usuários?

Como medir a experiência de alguém que interage com um agente?

Os usuários que interagem com o agente convertem ou retêm mais do que os que não interagem?

E depois que você começa a medir tudo isso, o que você faz com esses dados?

O número que confirmou o que eu vivi

Fiz uma pesquisa e encontrei o dado que colocou números na minha frustração.

77% das empresas que lançaram agentes de IA não têm ideia se estão ajudando os usuários.

93% planeja implementar agentes nos próximos dois anos.

O paradoxo é esse: todo mundo fala de IA, quase ninguém sabe se a sua funciona.

E se você não mede, não consegue melhorar. É simples assim.

Por que você precisa medir um agente (sem escapatória)

São três motivos concretos:

1. Entender a adoção → quantos usuários realmente estão usando o agente?
2. Identificar atrito → em quais casos ele falha? onde gera frustração?
3. Comprovar impacto → os usuários que interagem com o agente convertem e retêm mais do que os que não interagem? Se você não consegue responder isso, para que lançou o agente?

E existe uma quarta variável que quase ninguém olha: o impacto interno. Se o seu agente é usado por funcionários (suporte, vendas, operações), a pergunta é a mesma, só que voltada para dentro. Ele está tornando essas pessoas mais produtivas, ou é só mais uma ferramenta que soma atrito?

Clicks e pageviews não dizem nada sobre isso

Aqui está um erro comum: medir um agente conversacional com as mesmas métricas que você usaria para uma página web. Clicks, pageviews, tempo de tela.

Um agente não é uma página. É uma conversa. E uma conversa não se mede em clicks, se mede em se resolveu ou não o que o usuário precisava.

Pesquisas e NPS também não bastam. Te dão uma foto geral, mas não dizem em qual mensagem específica o agente quebrou, nem qual intenção ele não conseguiu resolver.

Você precisa olhar para a conversa em si. E na América Latina isso inclui canais que nos Estados Unidos quase não são usados, como o WhatsApp: se o seu agente vive lá, sua forma de medir também precisa viver lá.

O que observar, na prática

Organize as métricas em três grupos.

Adoção

→ Adoption rate: qual porcentagem dos seus usuários interage com o agente

→ Casos de uso emergentes: o que estão pedindo que você não previu

→ Quem usa vs. quem não usa, e o que diferencia esses grupos

Atrito

→ Rage prompts: quando o usuário repete ou reformula porque não ficou satisfeito com a resposta

→ Issues: erros específicos do agente (ação direta: ajustar o prompt)

Impacto

→ Impacto em retenção: os usuários que interagem com o agente voltam mais?

→ Impacto em conversão: eles completam mais a ação que buscavam?

→ Time to complete: quanto tempo alguém leva para conseguir o que precisa com o agente, comparado ao fluxo tradicional

Como comprovamos isso: o workshop e a demo em tempo real

Há uma semana fizemos um workshop mostrando, em tempo real, esses mesmos problemas. Mostramos, com exemplos reais, como esses erros aparecem no dia a dia, e usamos uma ferramenta chamada Pendo Agent Analytics, que serve exatamente para isso: medir a performance dos seus agentes, ver métricas básicas, e entender se eles estão ajudando os seus usuários ou não.

Para a demo montamos uma plataforma de viagens bem simples: você pode comprar pacotes e voos manualmente, ou conversando com um agente. Deixamos ela no ar para que vocês também possam testar: bildung-travel.lovable.app. Entrem, interajam com o agente, e vejam quais erros encontram. É um bom exercício antes de continuar lendo.

Foi essa a conversa que tivemos em tempo real:

"Estou pensando em viajar para o Japão em março, quais pacotes vocês têm?"

→ A resposta foi tão longa que era impossível ler de uma vez.

"Pode buscar os voos saindo de Buenos Aires no dia 23 de março para duas pessoas, e me dizer o preço atual?"

→ Resposta longa de novo. E o agente não gerencia a venda, só dá informação.

"Pelo menos você pode abrir o Google Flights ou o Kayak com essa busca pronta?"

→ Cliquei. A busca não carregou.

"Vou procurar o voo eu mesmo. De todo modo quero reservar o pacote para duas pessoas. Pode me mandar o itinerário e o link de pagamento por email?"

→ O email nunca chegou.

Até esse ponto, tudo que eu tinha era uma sensação. Cinco minutos de frustração, sem nenhum número por trás.

O que fizemos depois é algo que muito poucas empresas fazem: fomos ver essa mesma conversa dentro do Pendo Agent Analytics. E ali toda aquela frustração se transforma em dado concreto:

→ Rage prompts: ficou marcado o momento exato em que insisti porque o email não chegava. Isso é frustração medida, não uma impressão minha.

→ Use cases: a ferramenta agrupa automaticamente todas as conversas por caso de uso, então você vê se o problema que o agente deveria resolver (nesse caso, ajudar a comprar um pacote) está sendo resolvido ou não, e também aparecem casos de uso novos que ninguém tinha previsto.

→ Issues: ficam marcados os erros específicos de como o agente foi construído, como não conseguir gerenciar a venda ou não enviar o email. A ação aqui é direta: ajustar o prompt ou revisar a integração.

→ Conversas individuais: você pode ver cada conversa completa, conectada ao session replay, para entender exatamente o que estava acontecendo na tela enquanto o usuário falava com o agente.

Cada uma das falhas que tive (a resposta interminável, o link quebrado, o email que nunca chegou) aparece ali, já classificada. Sem uma ferramenta assim, tudo isso fica como "uma sensação ruim". Com ela, se torna uma lista priorizada de ações.

Dos dados para a ação: duas alavancas

Depois que você mede, você tem literalmente duas alavancas para acionar.

1. Ajustar o agente

Os dados dizem exatamente onde ele falha: quais perguntas ele não responde bem, quais intenções não cobre, quais prompts geram frustração.

Exemplo: os usuários perguntam "o preço inclui o voo?" mas o agente não tem essa informação carregada.

→ Ação: adicionar contexto ao system prompt.

Exemplo: aparecem muitos rage prompts em perguntas de comparação do tipo "o que é melhor, Patagônia ou Nova Zelândia?" e o agente responde algo genérico.

→ Ação: melhorar a lógica de recomendação.

Um benefício colateral que ninguém menciona: toda melhoria que reduz a troca de mensagens também reduz o consumo de tokens. Isso é economia direta de custo para a empresa, não só uma experiência melhor.

2. Ajustar o produto

Às vezes o agente não tem nenhum problema. O problema é que ele está cobrindo um buraco que já existia no produto.

Exemplo: o agente recomenda um destino, o usuário vai até a página, mas volta para o chat para perguntar "o que exatamente está incluído?".

→ O problema não é o agente. É que a página de detalhes não mostra bem o preço.

→ Ação: redesenhar o card do destino.

Exemplo: muitos usuários perguntam ao agente "quais destinos vocês têm por menos de $3.000?", mas esse filtro não existe na página de destinos. Se essa intenção aparece 40 vezes no Agent Analytics, não é um capricho, é um sinal claro.

→ Ação: adicionar o filtro de preço que devia estar ali desde o começo.

O agente é só mais um feature

Essa é a ideia que fica depois de tudo isso: um agente de IA é só mais um feature do seu produto. Não é mágica, não está separado, não está isento das mesmas regras que você aplica a qualquer outra parte da sua plataforma.

E isso significa uma coisa só: você precisa medir.

Se você não mede se os usuários que usam o seu agente convertem e retêm mais do que os que não usam, você tem um feature bonito que custou dinheiro para a empresa. Só isso.

Já escrevemos antes sobre os 6 níveis de maturidade de product analytics. A lógica para agentes é a mesma, só que quase ninguém está aplicando ainda. Aí está a oportunidade.

Se você está para lançar um agente, ou já lançou e não sabe bem o que está acontecendo com ele, temos um assessment gratuito de 30 minutos para revisar o que medir e quais ações você já tem disponíveis hoje.

Se precisar de ajuda para medir o seu agente, me escreva em guido@bildungdata.com.