Avaliação de atendimento por IA#
A pesquisa de satisfação só é respondida por uma parte dos clientes, e quase sempre pelos extremos — quem ficou muito satisfeito e quem ficou furioso. A avaliação por IA lê todos os atendimentos e produz uma leitura de qualidade que não depende de o cliente responder.
Antes de começar#
É preciso ter o provedor de IA configurado e com saldo — veja Configurar o provedor externo. Avaliar atendimento consome tokens, e o volume é proporcional ao número de atendimentos, não ao número de respostas de pesquisa.
O que ela mede, e o que ela não mede#
Ela mede o que está escrito na conversa: cordialidade, clareza, se a pergunta do cliente foi respondida, se houve promessa sem base, se o atendente encerrou de forma adequada.
Ela não mede o que não está na conversa: se o problema foi de fato resolvido depois, se o técnico compareceu, se o cliente ficou satisfeito. Para isso existe o CSAT — veja Painel de qualidade e CSAT.
As duas coisas se complementam, e a diferença entre elas costuma ser informativa: atendimento bem avaliado pela IA e mal avaliado pelo cliente quase sempre significa problema fora do atendimento.
Como fazer#
- Vá em Configurações → Qualidade do atendimento.
- Ligue a avaliação por IA e defina os critérios que interessam à sua operação.
- Defina o escopo: todos os atendimentos, ou uma amostra.
- Acompanhe o resultado em Painel de qualidade e CSAT e no Ranking de qualidade.
Antes de usar a nota para avaliar pessoas#
Esta é a parte que merece cuidado, e não é técnica.
A nota é uma leitura de texto, não um julgamento de desempenho. Ela não sabe que aquele cliente já tinha ligado quatro vezes, que o sistema estava fora do ar, ou que o atendente estava seguindo uma orientação do supervisor.
Usar a nota como métrica individual de avaliação produz dois efeitos previsíveis, e os dois já aconteceram em toda operação que fez isso: os atendentes passam a escrever para a IA em vez de para o cliente, e param de registrar o que possa parecer mal — que é exatamente o registro de que a operação precisa.
Use a nota para encontrar conversas para ler, não para substituir a leitura. O valor dela é dizer "olhe estas trinta entre as mil", e isso já é enorme.
O custo#
Cada atendimento avaliado é uma chamada ao modelo, com o texto da conversa. Conversas longas custam mais. Se o volume for alto, avaliar por amostra dá quase a mesma informação gerencial por uma fração do custo.
Acompanhe em Preço por token: a avaliação aparece no mesmo consumo do atendimento, e é fácil confundir um crescimento com o outro.
Se algo der errado#
As notas estão todas parecidas. Critérios genéricos produzem notas genéricas. Escreva critérios específicos da sua operação.
A nota discorda do que você lê na conversa. Leia alguns casos e ajuste os critérios. Se continuar discordando, o modelo pode não ser adequado à tarefa — veja Escolher o modelo.
O consumo de IA subiu muito depois de ligar. É esperado, e é proporcional ao volume de atendimentos. Avalie por amostra.
Atendimentos só com IA também são avaliados. Decida se isso faz sentido para você: avaliar o próprio robô com o próprio robô mede consistência, não qualidade percebida.