Projets

Derrière l'affaire Patagonia, l'escalade dangereuse de l'exploitation des données clients par l'IA

L'affaire Patagonia souligne les risques inhérents à l'absence de transparence de la GenAI sur la data.

La marque de vêtements Patagonia est accusée d'avoir récolté, conservé et traité des données clients avec une GenAI. Une affaire qui souligne le casse-tête légal que les DSI doivent résoudre en la matière. Pas question de faire l'autruche pour autant.

PublicitéLe concepteur et distributeur de vêtements de plein air Patagonia est poursuivi pour avoir enfreint la loi californienne sur la protection de la vie privée. L'entreprise exploiterait en effet l'IA générative de l'éditeur Talkdesk pour intercepter, enregistrer et analyser les conversations avec des clients sans leur permission. La plainte, déposée le 15 juillet, spécifie que l'éditeur redirige et stocke en temps réel tous les échanges avec des clients et des partenaires commerciaux vers ses propres serveurs et, après leur transcription, « utilise ses modèles d'IA pour analyser les mots des appelants afin de déterminer de quoi ils parlent et comment ils se sentent durant l'échange ». Une demande de requalification en class action a également été déposée.

L'action en justice fait référence à l'un des produits d'IA de Talkdesk, Copilot, qu'il décrit lui-même comme un « assistant GenAI qui écoute, guide et assiste les agents du call center lors des interactions avec les clients. Par exemple, Copilot suggérera automatiquement des réponses pertinentes aux agents dans les chats, les e-mails, les appels et les SMS en fonction du contenu des échanges. Talkdesk enregistre toutes ces informations dans le cloud et crée un historique des interactions, ce qui permet aux entreprises de garder la trace des conversations précédentes des clients, même si elles ont eu lieu sur un support différent. Toutes ces données sont stockées sur les serveurs de Talkdesk. » De son côté, Patagonia affiche dans sa politique de confidentialité une description générique du type de partage de données qu'il exerce en général, mais elle ne précise absolument pas ce que fait Talkdesk.

Le litige implique ainsi trois acteurs distincts : l'entreprise, en l'occurrence Patagonia ; un tiers, en l'espèce Talkdesk, fournisseur de solutions SaaS de call center à base d'IA ; les outils d'IA utilisés par l'un ou l'autre. L'action en justice vise ainsi directement Patagonia et Talkdesk, mais elle met aussi très clairement en cause la façon dont les IA exploitent les données récoltées.

Migraines en vue pour les DSI

Un des problèmes soulevés réside dans un paradoxe lié à l'exploitation de l'IA générative. Les DSI d'une entreprise sont en effet tenus d'identifier précisément toutes les données que le SI collecte et la manière dont elles sont utilisées. Reste qu'avec la GenAI, ils n'en ont tout simplement aucune idée ! De quoi rendre les DSI, mais aussi les services juridiques très nerveux.

Mark Rasch, avocat spécialisé dans les questions de technologie et de confidentialité, imagine plusieurs scénarios dans une telle situation. Que se passerait-il, par exemple, si un consommateur appelait un retailer et se lançait dans une discussion animée au sujet d'un éventuel remboursement de produit ? Même une fois le problème résolu, l'analyse des émotions par la GenAI pourrait néanmoins étiqueter le client comme difficile et fauteur de troubles. Si des centaines d'autres retailers et entreprises utilisent ensuite le même logiciel, que se passe-t-il si celui-ci décide de conseiller aux call centers de ces organisations de couper court aux conversations avec ce client si elles durent trop longtemps ? Ou s'il recommande que toutes les demandes de remboursement de ce client soient rejetées ?

PublicitéL'absence totale de transparence de la GenAI

« Avec l'IA, personne ne peut dire avec certitude comment les données sont utilisées ou comment elles seront utilisées à l'avenir, rappelle Mark Rasch. Cela signifie qu'il est probablement impossible de démontrer le lien de cause à effet. » Pour l'avocat, la racine du problème se trouve dans l'imprévisibilité de l'IA elle-même, en particulier de la GenAI. Il ne s'agit pas seulement ici des hallucinations.

L'IA apprend et s'ajuste en permanence, ce qui signifie que personne ne peut savoir précisément comment elle va réagir, quelles données elle va recueillir, quelles informations elle va en déduire et comment elle va exploiter ces data.

Or, comme le souligne Mark Rasch, « chaque fois qu'une entreprise collecte des données à quelque fin que ce soit, elle doit informer le client non seulement de ce qui est collecté, mais aussi de toutes les utilisations prévues. C'est particulièrement vrai lorsque les données sont exploitées à des fins d'IA. » Sauf qu'encore une fois, l'incertitude liée à l'IA peut rendre les deux tâches pratiquement impossibles.

Tracer une limite claire

Cela oblige les DSI à distinguer clairement d'une part la data que leur équipe collecte délibérément et de quelle façon ce recueil est assuré, et, d'autre part, celle que l'IA collecte et comment elle va l'utiliser plus tard. Les DSI doivent s'en tenir strictement à ce qu'ils connaissent.

L'avocat précise qu'il ne s'agit pas ici uniquement des mots utilisés, mais aussi de la façon dont ils sont prononcés, du numéro de téléphone et de l'adresse IP utilisés, de l'heure de la journée, des bruits de fond et de tout ce que l'IA peut détecter pour analyser la situation. Les consommateurs « abandonnent volontairement beaucoup de choses lorsqu'ils passent un appel téléphonique », explique Mark Rasch. « Quand la plupart des entreprises rédigent une politique de confidentialité, elles ne tiennent pas vraiment compte de la quantité d'informations qu'elles collectent. »

Un champ de mines juridique

L'avocate Shavon Jones, spécialisée dans les stratégies d'IA au service du développement économique, précise de son côté que la législation actuelle n'a encore pas sérieusement compris l'IA, ce qui place les DSI dans une position précaire. « Où tracer la limite de la responsabilité civile de l'IA ? Je pense que nous ne le saurons pas avant de nombreuses années. Les litiges en la matière ne sont encore qu'une sous-spécialité émergente du droit », ajoute-t-elle. « À chaque fois qu'un domaine émerge, il n'y a que deux façons de décider où se trouve la ligne de démarcation : les législateurs et les régulateurs peuvent promulguer des lois et des règles, et les avocats peuvent porter des affaires devant les tribunaux dans plusieurs juridictions et laisser ces affaires faire leur chemin jusqu'à l'obtention de décisions de la Haute Cour, pour injecter de la certitude dans le droit. Mais cela prendra de nombreuses années d'essais-erreurs. »

« L'IA dans le domaine des données clients est un champ de mines juridique, et les récentes poursuites judiciaires soulignent le besoin urgent de limites claires », insiste de son côté James E. Wright, avocat à Los Angeles. « Les entreprises qui repoussent les limites de l'IA doivent se rendre compte que les données des clients ne sont pas un terrain de jeu ouvert à tous vents. La limite juridique doit être fermement tracée au niveau de la transparence et du consentement. Les clients doivent au moins savoir exactement comment leurs données sont utilisées et donner leur autorisation explicite. En deçà, cela relève de l'abus de confiance et, franchement, c'est une bombe à retardement juridique. »

« Les tribunaux vont continuer de travailler à définir ce périmètre, mais les entreprises doivent prendre une longueur d'avance, reprend l'avocat. Jouer de façon irresponsable avec l'IA et les données ne fera qu'entraîner davantage de poursuites judiciaires et éroder la confiance des consommateurs. Il est temps pour les entreprises de faire preuve de sagesse et de respecter les règles. »