Juridique

Air Canada condamné pour une erreur de son chatbot GenAI de relation client

---

La compagnie aérienne canadienne a été condamnée à payer pour une erreur de tarification commise par son chatbot de relation client. Un dénouement qui montre bien pourquoi les entreprises doivent investir dans le contrôle de leurs outils d'IA selon les analystes.

PublicitéUne histoire cocasse qui donne à réfléchir. Un tribunal civil canadien a condamné Air Canada à payer pour une erreur commise par un chatbot de service à la clientèle, soulignant la nécessité pour les entreprises de mieux former et contrôler leurs outils d'intelligence artificielle. Jake Moffatt, résident de la Colombie-Britannique, a consulté le site web d'Air Canada en novembre 2022 afin de réserver un vol pour les funérailles de sa grand-mère dans l'Ontario. Le chatbot du site lui a dit qu'il pouvait se faire rembourser une partie du billet du lendemain et du billet de retour, s'il demandait une réduction dans les 90 jours. Cette information était erronée : la politique d'Air Canada, disponible sur son site web, consiste à accorder des réductions pour décès si le client en fait la demande à l'avance. Après le refus d'Air Canada d'accorder la réduction, un tribunal canadien a ordonné à la compagnie aérienne de payer environ 600 $ en remboursement de frais de deuil et en frais de justice, soit environ la moitié de ce que le client a payé pour ses billets.

Les entreprises qui utilisent des chatbots et d'autres outils d'IA générative (GenAI) doivent investir dans le pilotage de celle-ci afin de ne pas devoir dépenser les gains de productivité induits par les chatbots en frais juridiques et en amendes », estime Avivah Litan, analyste chez Gartner. Dans l'affaire Air Canada, Christopher Rivers, membre du British Columbia Civil Resolution Tribunal, s'est rangé du côté de Jake Moffatt et a rejeté l'affirmation de la compagnie aérienne selon laquelle le chatbot est « une entité juridique distincte, responsable de ses propres actions ». Dans sa décision du 14 février, il a indiqué qu'Air Canada n'a pas été en mesure d'expliquer pourquoi les informations sur les rabais pour les personnes en deuil figurant sur son site web étaient plus fiables que celles fournies par le chatbot. « Air Canada avait un devoir de diligence envers Jake Moffatt », a-t-il ajouté. « En règle générale, la norme de diligence applicable exige qu'une entreprise prenne des précautions raisonnables pour s'assurer que ses représentations sont exactes et non trompeuses ».

Un contrôle indispensable des chatbots d'IA générative

Trois analystes spécialisés dans le marché de l'IA s'accordent à dire que les entreprises qui utilisent des assistants et d'autres outils d'IA doivent vérifier leurs résultats. Selon Avivah Litannviron, environ 30 % des réponses fournies par la GenAI sont fictives, ce que l'on appelle des hallucinations. « Les entreprises qui utilisent des chatbots doivent utiliser des garde-fous pour mettre en évidence les anomalies de sortie telles que les hallucinations, les informations inexactes et illégales - et charger de vraies personnes de cette vérification, pour enquêter et bloquer ou approuver ces sorties avant qu'elles ne soient diffusées, poursuit-elle. Ils doivent s'assurer que les résultats, en particulier dans les applications destinées aux clients, sont exacts et qu'ils n'orientent pas les clients ou l'organisation qui gère le chatbot sur la mauvaise voie ». Les assistants GenAI ne sont pas prêts à se  comporter comme un service client sans contrôle de fiabilité, de sécurité et de sûreté, fait-elle valoir.

PublicitéLes cas où ces outils fournissent des informations erronées soulignent la nécessité pour les entreprises de se concentrer sur une IA responsable, déclare de son côté Hayley Sutherland, responsable de recherche en knowledge discoveru et IA conversationnelle chez IDC. Les entreprises doivent investir dans les tests et la formation des outils d'IA qu'elles utilisent, recommande-t-elle. « Indépendamment du format ou de l'interface utilisateur [de l'IA], les entreprises sont généralement tenues responsables des informations qu'elles fournissent aux clients», rappelle-t-elle. L'analyste recommande ainsi aux entreprises qui envisagent d'utiliser des chatbots et d'autres outils d'IA de le faire d'abord pour des cas internes moins sensibles, comme l'assistance aux employés, plutôt que de se lancer directement dans le service client.

Anthropomorphisation et confiance aveugle

Les hallucinations de l'IA sont parfois plausibles, même si elles fournissent des informations erronées, rappelle-t-elle. Pour lutter contre ce problème, « les systèmes d'IA générative devraient inclure un humain dans la boucle et d'autres mécanismes pour sourcer, fonder et valider les résultats fournis par le chatbot pendant la phase d'entraînement, ainsi que lors des tests continus ». Autre problème, les chatbots actuels ne peuvent gérer que quelques tâches simples, selon David Truog, vice-président et analyste principal chez Forrester. « Malheureusement, les entreprises qui les déploient ont souvent une trop grande confiance dans leur efficacité. Elles sous-estiment la complexité de la création d'un bot efficace ; la chose qu'elles négligent le plus souvent, et de manière désastreuse, est l'expertise indispensable en matière de conception focalisée sur l'humain et de conception de conversations. Les entreprises ne doivent pas s'attendre à ce que les chatbots bénéficient d'un statut juridique spécial. Ce sont des logiciels, au même titre qu'un site web ou une application d'entreprise. Et toute organisation qui déploie un logiciel pour interagir avec ses clients en son nom est responsable de ce que fait ce logiciel. Il est courant que les clients anthropomorphisent quelque peu les chatbots puisqu'ils utilisent des langages humains, mais ce n'est pas une excuse pour que les entreprises fassent de même au point de se laver les mains de toute responsabilité lorsque leur chatbot se comporte mal ».

Article rédigé par

Grant Gross / IDGNS (adapté par Dominique Filippone)

Partager cet article