Wine Enthousiast met de l'IA dans son vin

Wine Enthousiasts a entraîné un LLM avec ses données pour améliorer son service clients.

Le distributeur new-yorkais de produits de l'univers du vin, Wine Enthousiast, a opté pour une IA générative. Destinée à évaluer son service relation clients, elle accompagne désormais ce service dans les échanges avec les acheteurs et identifie des problèmes indétectables par une simple analyse humaine.

PublicitéWine Enthusiast, basé à New York, ne vend pas de vin, mais propose à ses clients depuis 45 ans de s'équiper pour « vivre le style de vie du vin. » Cela va des tire-bouchons aux verres, en passant par les caves à vin et des meubles, et même deux magazines. Et chaque année, l'entreprise reçoit 100 000 demandes auprès de son service clients. Or, durant la pandémie de Covid-19, sa présence en ligne a explosé. Les consommateurs sont en effet restés à la maison, ont cocooné, soigneusement organisé leur espace de bureau idéal et... bu davantage.

Depuis plus d'un an, Wine Enthusiast utilise la plateforme SaaS de la start-up Pathlight, basée à San Francisco, pour mesurer la performance de ses équipes clients. Or, ce jeune éditeur lui a présenté récemment une solution d'IA générative appelée Conversation Intelligence pour retranscrire toutes les conversations avec les consommateurs, noter les conseillers suivant le barème de l'entreprise et signaler d'éventuels problèmes. La start-up a entraîné le LLM avec des données propres à Wine Enthusiast pour se familiariser avec ses politiques et ses produits. Le modèle détermine si un conseiller a suivi ou non les procédures et le degré de satisfaction du client.

Jusque-là, la société devait passer au peigne fin manuellement chaque échange avec un client pour identifier des problèmes ou des tendances. Une tâche impossible à mener à grande échelle. Wine Enthusiast ne pouvait qu'effleurer la surface de l'analyse des échanges avec le service client. Et les plaintes identifiées restaient anecdotiques. Il était presque impossible de relever des problèmes persistants. « Aujourd'hui, les outils d'IA génératives agissent pour nous comme des analystes autonomes, estime John Burke, responsable du service client et des systèmes. Les LLM passent au crible la majeure partie des conversations avec les clients, analysent leur contenu et synthétisent les retranscriptions dans des rapports qui mettent en évidence les tendances de consommation et les problèmes liés aux produits. Le tout en un temps record. »

Quel problème avez-vous essayé de résoudre avec l'IA générative ?

John Burke, directeur de l'expérience clients de Wine Enthusiast : Notre service clients n'était pas vraiment en mesure de gérer le volume d'appels entrants. On imagine souvent le service clientèle comme un simple prolongement du point de vente, mais en réalité on y parle de garanties ou de support des produits vendus, par exemple. Nos caves à vin sont construites pour durer, parfois jusqu'à 10 ou 15 ans. Elles auront donc besoin de pièces et d'entretien. Mon rôle a consisté à trouver un moyen de développer de manière responsable ce service pour répondre à la demande et aux attentes des clients - en particulier dans le monde d'Amazon dans lequel nous vivons aujourd'hui, celui de l'immédiateté et de la technologie -, sans pour autant embaucher 60 personnes de plus.

PublicitéComment avez-vous finalement résolu la question ?

Dans une première phase, nous nous sommes dotés d'un ensemble d'outils et de plateformes pour mieux communiquer avec les clients. Pour cela, nous sommes passés à Zendesk, ce qui a bien fonctionné pour l'usage requis. Mais nous n'arrivions pas à savoir pour quelle raison les clients nous contactaient. Tout a commencé quand nous avons sondé notre équipe, par exemple sur la façon dont ils terminaient une conversation. Et sans surprise, dans 90 % des cas, c'est avec une question en suspens. Mais une question sur quoi ? Impossible de savoir. Je ne blâme pas notre équipe. Ils passent d'un appel à l'autre et ils ne peuvent pas répondre à six ou sept questions différentes. Et justement, je ne me concentre pas uniquement sur le volume d'appels ou le nombre de tickets à traiter. Le plus important pour moi, c'est de connaître le niveau de qualité et de cohérence de la réponse apportée au client.

Et nous sommes justement tombés sur la start-up Pathlight qui vend une plateforme de coaching vraiment intéressante. Elle réalise les mesures qui importent pour nous et les intègre dans un « score de santé ». Un moyen simple pour l'équipe de savoir où elle en est. Plutôt que de dire : « vous vous débrouillez très bien pour résoudre les problèmes lors du premier contact, mais le temps de réponse au chat est moins satisfaisant », nous disons : « votre score de santé global est de 90 et voici où vous voulez vous améliorer ». Au bout d'un an, Pathlight nous a dit avoir développé un produit qui, en plus d'évaluer les performances de l'agent, analysait également chaque conversation. La solution identifie de quoi il est question, ce que l'agent et le client ressentent, comment l'agent résout le problème et s'il respecte les procédures. C'est comme cela que nous nous sommes lancés dans l'aventure de l'IA.

La majorité des conversations des représentants du service après-vente se déroulent-elles en vocal ou par messagerie ?

Notre mix de canaux est composé à 70 % de voix et 30 % de tout le reste. Pour nous, le défi était de savoir comment obtenir quelque chose de significatif à partir de ces conversations téléphoniques qui, dans certains cas, durent 20, 30, voire 40 minutes. C'est là que le problème a commencé. Avec Pathlight, nous avons une sorte de grille d'évaluation pour noter nos représentants. Avant, mon équipe de direction venait me voir en me disant : « John, je viens de passer 20 minutes à écouter un appel téléphonique et j'ai noté une conversation. Comment suis-je censé faire mon travail et en même temps évaluer l'équipe ? » Jusque-là, on étudiait les enregistrements uniquement lorsque le client se plaignait. Et nous revenions en arrière et essayions de comprendre ce qui s'était passé. Nous nous focalisions toujours sur les pires conversations avec les clients pour évaluer notre équipe. Mais ils ont des centaines d'échanges qui se passent parfaitement bien ! Aujourd'hui, Pathlight s'interface via des API avec notre système Aircall. Les conversations sont enregistrées en toute sécurité par Aircall et la solution Pathlight y accède pendant une brève période pour l'analyse. C'était important pour nous. Nous n'avons pas eu à changer notre façon de fonctionner.

Comment le service relation clients a-t-il travaillé sur les agents d'IA générative ?

J'ai une équipe de direction relativement petite, et elle passait quasiment la moitié de son temps sur les évaluations pour préparer les agents et essayer de déterminer qui étaient les plus performants et ceux qui avaient besoin de cadrage ou d'entraînement supplémentaires. Nous avons aussi observé certains paramètres commerciaux. Nous voulons rendre le client heureux, mais pas au risque de mettre l'activité en danger. Nous devons trouver un équilibre entre sa satisfaction maximale, et la tentation instinctive de lui proposer un remboursement complet, par exemple.

"Le modèle a bien compris qui nous sommes et à quoi devraient ressembler les conversations avec nos clients. Nous avons donc totalement supprimé l'évaluation manuelle." : John Burke, directeur de l'expérience clients de Wine Enthusiast (Crédit : John Burke)

Quelle a été la durée de déploiement et avez-vous rencontré des obstacles ?

Nous avons commencé en août 2023 et il nous a fallu environ un mois d'expérimentation. L'outil a été mis en ligne vers le mois de septembre. Depuis, nous sommes en production et nous avons plutôt bien peaufiné le prompt. Le modèle a assez bien compris qui nous sommes et à quoi devraient ressembler les conversations avec nos clients. Et nous avons totalement supprimé l'évaluation manuelle. Nous laissons le système faire le travail.

Nous sommes encore en train de l'optimiser. Une grande partie de sa valeur provient des prompts envoyés vers le modèle d'IA en amont. Pour nous, il s'agissait d'expliquer notre entreprise au modèle. Ce n'est pas aussi simple que de dire : « nous vendons du vin. » Nous parlons aussi de tire-bouchons, de meubles, d'articles de magazines, de remboursements. Il a fallu quelques itérations avec le soutien de Pathlight avant que le modèle comprenne nos clients. L'autre domaine sur lequel nous avons dû l'entraîner, ce sont nos procédures. Dès le début, nous avons constaté que l'IA n'était pas en mesure de nous dire si le problème du client était résolu. C'est parce qu'il ne comprenait pas vraiment ce que « résolu » signifiait pour nous. S'agissait-il d'un retour ? D'un remboursement ? D'un crédit ? Au fil du temps, nous avons affiné les prompts, au point d'aider le système à comprendre qu'un problème résolu peut être un client qui n'est pas complètement heureux à la fin de son échange, mais qui a vécu une expérience satisfaisante, et que de notre côté, nous avons atteint nos objectifs de protection de l'entreprise.

Avez-vous dû vous transformer en ingénieur LLM ? Qui a assumé ce rôle ?

Nous avons travaillé avec Pathlight. Leur IA et mes managers créaient un script de conversation chacun de leur côté, puis nous comparions les résultats. Pour juger de l'interaction, mais aussi pour voir comment était déterminé le problème source, s'il s'agissait d'un retour ou d'un problème lié au produit par exemple. Cela nous a vraiment aidés à identifier les domaines où le prompt devait être mis à jour.

Le LLM cloud de Pathlight utilise vos propres données pour s'entraîner. Ne craignez-vous pas qu'elles soient exposées ?

J'ai moi-même étudié l'IA et j'aime être à l'avant-garde de la technologie. J'ai donc regardé de près les questions de protection de la vie privée et d'éthique. Je ne suis pas très inquiet, en partie parce que nous ne sommes ni une banque, ni une compagnie d'assurance ou une entreprise de santé. Le seul sujet sensible, ce sont les cartes de crédit des clients. Mais Pathlight nous a assuré que le modèle est entraîné à les détecter et les extrait des données d'apprentissage. Cela m'a rassuré.

Pourquoi qualifiez-vous vos agents d'IA générative d'analystes autonomes ?

Pathlight nous a présenté son produit comme un moyen d'éliminer le processus manuel d'évaluation de votre équipe pour mieux comprendre ce dont vos clients parlent. Pour moi, c'est exactement le contraire. Je veux savoir de quoi nos clients parlent, régler leurs problèmes dès le départ et naturellement, cela va rendre notre équipe plus performante.

Quels sont les premiers retours du projet ?

Nous savions que l'IA saurait nous donner certaines informations de base. Pourquoi le client a-t-il appelé ? Quel était son état d'esprit ? Mais nous avons aussi des résultats plus surprenants. L'IA a par exemple noté assez durement des échanges que nous jugions pourtant satisfaisants. Nous avons d'abord pensé qu'elle se trompait, avant de constater que pour beaucoup de clients très exigeants, nos agents n'avaient pas nécessairement tous les outils pour désamorcer la situation, éviter les conflits, pivoter. Voire interrompre l'échange et passer la main à une personne plus à même de répondre. Une importante découverte pour nous.

Autre surprise : nous avions donné 150 enregistrements de conversations totalement aléatoires à Pathlight, qui voulait nous montrer sa capacité à passer à l'échelle. Or, ils ont identifié quatre ou cinq clients avec des plaintes similaires au sujet d'un même produit. En fait, celui-ci avait un défaut de fabrication causant de la rouille sur les composants électriques. Nous n'aurions pas identifié cela sans l'IA. Nous sommes remontés jusqu'à l'usine et avons identifié les numéros de série. Il s'agissait finalement d'un petit sous-ensemble d'une cave à vin spécifique que nous avons conçue. Et nous avons corrigé le problème et géré les choses correctement pour ces clients. Ce n'est pas quelque chose que nous cherchions. Ça n'était jamais arrivé à l'un de nos produits auparavant. Cela ne fait partie d'aucune liste de contrôle. Cela ne faisait même pas partie de notre processus d'évaluation. Nous nous intéressions aux performances du représentant, pas aux produits. Une bonne surprise !

Quel est le retour sur investissement du projet ?

La réponse directe est : je ne sais pas. Je sais que cela apporte de la valeur à notre entreprise et je peux le démontrer grâce à ce que mon équipe réalise au quotidien. Nous avons validé la conformité des procédures et nous savons que nos agents utilisent les outils que nous leur avons donnés pour prendre les bonnes décisions commerciales. Mais, nous ne sommes pas encore capables de chiffrer un ROI.

Avez-vous déjà d'autres projets pour l'IA ?

Oui. Ce que nous avons fait jusqu'à présent est en grande partie rétrospectif. Retour sur les performances de l'équipe au cours des six derniers mois. Façon dont les commerciaux s'améliorent sur certains indicateurs. Je veux des actions plus proactives, comme avec cette découverte du problème de corrosion. Je veux en trouver d'autres et être en mesure d'agir en anticipation ! J'aimerais arriver à dire au modèle : « tu connais assez bien notre entreprise maintenant, dis-nous si quelque chose te semble anormal. »