Como aumentamos a resolução do bot com uso de inteligência artificial

Oi, eu sou a Isabella, product manager do willbot, o bot de atendimento do will, e vou contar como aumentamos a resolução de tickets com o uso de IA.

No começo

Em 2021, criamos o bot de atendimento do will. Na época, o objetivo era esclarecer dúvidas, resolver problemas simples, direcionar melhor os tickets para as filas corretas de atendimento e, dessa forma, gerar maior eficiência operacional.

O bot surgiu com um menu inicial e fluxos guiados a partir dele, em que o cliente poderia navegar e tirar suas dúvidas. Tivemos bons resultados iniciais com essa arquitetura, transferindo menos contatos para o atendimento humano e proporcionando um atendimento mais rápido.

No entanto, essa solução logo se mostrou pouco escalável.

O cliente tinha a responsabilidade de ler todas as opções e escolher aquela que poderia conter a resposta que procurava. É um esforço cognitivo alto, e uma experiência que pode ser um pouco frustrante. Chegamos em um momento que 40% dos usuários selecionava a opção “Falar de outra coisa”, o que reflete a dificuldade de navegação no menu.

Além disso, com o passar do tempo o will lançou novos produtos e funcionalidades e um menu com espaço delimitado já não conseguia acompanhar a complexidade do atendimento. As manutenções e mudanças de arquitetura eram frequentes, e sentíamos que esse modelo de construção não conseguiria melhorar a experiência do atendimento de forma significativa.

O desafio

A forma mais simples e conhecida para eliminar o uso do menu e melhorar a navegação dos clientes no bot é implementar uma inteligência artificial que classifique a dúvida do cliente e envie diretamente para a resposta esperada para essa dúvida. Existem várias ferramentas de construção de bots e vários modelos disponíveis no mercado.

Entretanto, no will entendemos que proporcionar uma boa experiência para os clientes é um diferencial competitivo e por isso decidimos procurar uma alternativa mais aderente ao perfil dos nossos clientes.

O will tem mais de 6 milhões de clientes, sendo que a maioria está no nordeste e em cidades pequenas. Muitos deles estão abrindo sua primeira conta bancária, e na pesquisa Dismorfia Financeira descobrimos que 7 em cada 10 brasileiros não usam palavras positivas para descrever sua vida financeira.

Nesse cenário, é essencial que o bot consiga compreender as dúvidas dos clientes e falar a sua linguagem.

A solução

Então, analisamos mais de 6 milhões de mensagens, de mais de 1 milhão de clientes, e, construímos um modelo para compreender a linguagem dos clientes e guiar sua jornada de atendimento. Para isso, usamos o BERTimbau, uma variante brasileira do BERT, que é um modelo open source pré-treinado em português que utiliza uma técnica conhecida como “transformadores”.

O modelo foi treinado para entender o contexto das frases, olhando tanto para o que vem antes quanto para o que vem depois de uma palavra específica. Isso permite que ele compreenda melhor o significado das palavras em diferentes contextos.

Esse tipo de modelo pode ser usado para várias tarefas de linguagem, como responder perguntas, completar frases e traduzir textos. No caso do will, usamos para recepcionar pessoas no chat e fornecer as melhores soluções para suas dúvidas, bem como conectar com o time de atendimento no momento que isso for necessário.

Tivemos o desafio de colocar o modelo em produção e garantir tempos de resposta imediatos, uma vez que o bot de atendimento interage com milhares de clientes todos os dias. E também precisamos construir um sistema de monitoramento e melhoria contínua dessa IA, além do acompanhamento de todas as métricas de performance e satisfação no atendimento.

A multidisciplinariedade dos times foi um fator essencial para fazer isso acontecer — tivemos cientistas de dados, engenheiros de machine learning e de software, analistas de dados, designers conversacionais e especialistas de customer experience trabalhando para colocar o novo bot no ar.

Os resultados

Com toda essa estrutura, tivemos um ganho significativo na retenção do chatbot, que para nós representa o volume de chats resolvidos pelo bot. No mês da implementação da IA para toda a base de clientes tivemos um aumento de retenção de 20% . E desde então, com o trabalho de desenvolvimento de novas respostas e disponibilização de novos serviços integrados à IA, a retenção do bot já cresceu 52%.

Além disso, tivemos uma redução de 44% no skip — taxa de transferência entre filas. Uma das responsabilidades do bot é classificar o atendimento e enviar para a fila de atendimento correta. Com a IA conseguimos diminuir direcionamentos incorretos e proporcionar menor tempo de atendimento e uma experiência melhor no chat.

Com essa experiência, aprendemos que ao desenvolver produtos baseados em inteligência artificial precisamos entender muito bem o contexto do cliente, suas dores e seu comportamento. Hoje existe um grande hype em torno da inteligência artificial, e ainda mais em torno da IA generativa. Mas para criar produtos realmente úteis para os clientes e para o negócio precisamos estar sempre em contato com os clientes e nos lembrar qual é o problema que queremos resolver.

Originally published at https://medium.com on August 13, 2024.