Technologies

Comment expliquer l'intelligence artificielle ?

Retrouvez cet article dans le CIO FOCUS n°200 !

Intelligence artificielle : la comprendre et l'encadrer pour en tirer des bénéfices

Si le concept d'intelligence artificielle date des prémices de l'informatique, son développement réel est bien plus récent. Il faut en effet de la puissance de calcul et du stockage en grandes quantités et à coût raisonnable pour pouvoir réellement y recourir. Aujourd'hui, l'intelligence...

Découvrir

---

Rendre les modèles d'intelligence artificielle compréhensibles devient de plus en plus important face aux nombreux enjeux soulevés par l'irruption de l'IA dans tous les domaines. Les entreprises ont tout intérêt à se pencher sur le sujet dès à présent. Pour bien démarrer, voici quelques axes pour engager la réflexion.

PublicitéAprès avoir fait un tour d'horizon des principaux enjeux de l'explicabilité de l'IA dans un précédent article, comment et par où aborder ce sujet pour le moins complexe dans son entreprise ou son administration ? Les différents rapports présentés en encadré proposent des réponses détaillées à cette question, dont peuvent s'inspirer les organisations. Cet article présente les grands axes de réflexion abordés dans ces travaux, en vue d'introduire et de sensibiliser au sujet.

Pour commencer, il faut rappeler que l'explicabilité va de pair avec la responsabilité. Les individus concernés par un traitement d'IA doivent savoir vers qui se tourner pour avoir une explication, ce qui signifie qu'un certain nombre d'acteurs dans l'organisation doivent endosser cette responsabilité. Selon le guide de l'ICO et l'Alan Turing Institute, la responsabilité globale de l'usage de l'IA est portée par l'équipe dirigeante, mais d'autres rôles sont concernés par le sujet. Parmi eux figurent les chefs de produit basés sur l'IA, les équipes qui développent l'IA, mais aussi les acteurs qui la mettent en oeuvre, en particulier les employés qui utilisent les outils. Enfin, l'équipe chargée de la conformité et le délégué à la protection des données (DPO) ont une responsabilité sur les aspects légaux.

Prendre en compte le contexte de l'explication

Ensuite, il faut comprendre qu'il n'y a pas une, mais de multiples explications possibles. Dans son guide, l'ICO énumère ainsi six grands types d'explications. La première est l'explication rationnelle, qui présente le raisonnement aboutissant au résultat. Vient ensuite l'explication sur les responsabilités, indiquant qui a conçu quoi dans l'IA et qui contacter pour comprendre la décision. L'explication sur les données précise les données utilisées par le modèle d'IA et la manière dont elles ont été collectées, tandis que l'explication sur l'équité décrit les actions mises en place pour garantir celle-ci et éviter les biais. Il est également possible d'expliquer les mécanismes mis en place pour garantir la sécurité, la performance, la fiabilité et la robustesse ; de même que les mécanismes de surveillance de l'IA, pour évaluer ses conséquences sur les individus et la société. Il faut aussi faire la distinction entre l'explication globale, qui décrit le processus utilisé pour parvenir aux résultats et l'explication locale, qui détaille comment l'IA est arrivée à un résultat spécifique. Dans le cas d'un algorithme d'attribution de prêts bancaires, l'explication globale portera ainsi sur les données utilisées, les critères évalués et leur poids respectif, tandis que l'explication locale aura pour but de répondre à un client demandant pourquoi il n'a pas obtenu son prêt, en indiquant par exemple que dans son cas il dépasse le taux d'endettement fixé par la banque. Enfin, le rapport de Telecom Paris recommande de distinguer l'explication sur l'algorithme en phase d'apprentissage, qui s'intéresse à la manière dont le modèle est entraîné, de celle sur l'algorithme entraîné et utilisé en situation opérationnelle, où l'on cherche plutôt à savoir les facteurs qui font qu'il arrive à tel ou tel résultat.

PublicitéPour produire une explication efficace, c'est-à-dire compréhensible et au bon niveau, mais aussi pour déterminer quelles explications fournir en priorité parmi celles décrites ci-dessus, le contexte est essentiel à prendre en compte. Les guides de l'ICO et de Telecom Paris détaillent tous deux les principaux facteurs contextuels, se rejoignant sur les grandes lignes. Ainsi, l'un des facteurs clefs est l'audience à laquelle l'explication est destinée, ainsi que son niveau d'expertise. Il peut s'agir de l'individu objet de la décision d'IA, comme le patient qui veut comprendre un diagnostic, l'usager d'un service qui veut être rassuré sur le traitement de ses données ou le consommateur qui veut savoir pourquoi un prêt lui a été refusé. L'explication peut également s'adresser à des représentants de personnes morales, comme des entreprises ou administrations qui utilisent des solutions basées sur l'IA fournies par des tiers et ont besoin de transparence. Les instances d'audit, chargées de contrôler la conformité, peuvent bien entendu être concernées. Enfin, en interne, les métiers et tous les rôles précédemment mentionnés peuvent avoir besoin d'explications.

De multiples facteurs déterminent l'explication à fournir

Il faut aussi tenir compte de l'impact de l'IA sur les individus, et en cas d'impact négatif, voir dans quelle mesure l'explication peut le diminuer. Les auteurs du rapport de Telecom Paris ajoutent une dimension liée aux réglementations applicables et aux droits fondamentaux, qui englobe le droit de contester les décisions, la prévention des discriminations, la protection de la vie privée et le fait de ne pas nuire à la société. Quand les cas d'usage de l'IA peuvent mettre en jeu la liberté, par exemple dans le domaine judiciaire ; l'accès à certains droits, comme l'éducation ou l'emploi ; voire entraîner des conséquences de vie ou de mort, comme dans la médecine, le secteur militaire ou encore les véhicules autonomes, alors les explications fournies doivent s'aligner sur les enjeux. Il s'agira par exemple de montrer ce qui est mis en oeuvre pour garantir l'équité dans un cas d'usage d'accès à l'enseignement supérieur, tandis que dans le cas d'un pilote automatique, les explications porteront en priorité sur la sécurité et la fiabilité.

Le contexte inclut également le domaine dans lequel travaille l'interlocuteur qui fournit l'explication : le niveau d'explication ne sera pas le même si celui-ci travaille dans l'e-commerce ou dans le monde médical. Les types de données utilisées par l'algorithme font également partie du contexte, car elles peuvent influencer le degré d'acceptation des résultats et les actions des individus, déterminant aussi le type d'explication à fournir. Typiquement, s'il s'agit de données sociales et démographiques, les préoccupations associées porteront davantage sur l'équité, alors que s'il s'agit de données médicales biologiques, l'enjeu est plutôt de rassurer sur leur fiabilité et la pertinence de la décision. Un autre facteur important pour ajuster le niveau d'explication est le degré d'urgence de la décision, autrement dit le temps dont disposent les individus pour recevoir l'explication et y réagir. Le rapport de Telecom Paris évoque enfin une dimension opérationnelle. Les organisations peuvent en effet avoir certains objectifs opérationnels qui requièrent d'expliquer les modèles d'IA, par exemple pour obtenir une certification de sécurité, ou tout simplement faire en sorte que les outils mis en place soient utilisés. Pour les dirigeants et managers, l'un des enjeux est ainsi de vendre l'IA auprès de leurs équipes afin d'obtenir leur adhésion. Pour les utilisateurs, expliquer facilite l'adoption en cas de réticence. Inversement, cela les aide aussi à prendre du recul, pour ne pas faire aveuglément confiance à l'IA et pouvoir détecter d'éventuels biais ou des résultats incohérents.

Un processus pour construire les explications

Une fois les différents paramètres contextuels identifiés, l'élaboration des explications peut démarrer. L'ICO propose six étapes pour y parvenir. Certaines demandent toutefois d'anticiper la question de l'explicabilité, pour l'inclure dès la conception du modèle d'IA. Tout d'abord, il s'agit de sélectionner les explications prioritaires en considérant le domaine, le cas d'usage et l'impact sur les individus. À ces aspects, le guide Telecom Paris ajoute une analyse des risques, en veillant à bien justifier les cas où la transparence doit être limitée, ainsi qu'une analyse coûts - bénéfices. Ensuite, il faut collecter et préparer les données en ayant en tête l'explicabilité. Le guide suggère pour cela d'utiliser le standard PROV-DM du W3C, un modèle de données décrivant leur provenance, à travers des relations entre des entités, des agents et des activités. La troisième étape consiste à construire le système d'IA de façon à s'assurer qu'on peut en extraire des informations pertinentes pour une diversité d'explications. Ensuite, il faut parvenir à traduire la logique du système d'une façon exploitable et compréhensible, en veillant à ne pas trop la déformer. Les auteurs du guide ICO mettent en garde en particulier contre le risque de transformer des corrélations, fréquentes avec les systèmes de ML, en causalités. La cinquième étape se penche sur la préparation et la formation des employés qui vont mettre en oeuvre l'IA. Enfin, la dernière étape s'intéresse à la manière de construire et de présenter l'explication.

De nombreuses méthodes existent ou sont en phase d'exploration pour expliquer les algorithmes d'intelligence artificielle. Selon les cas, elles peuvent fournir des éléments d'explication globaux ou une explication locale. Certaines aussi conviennent mieux à des sous-domaines de l'IA, comme les cartes de saillance (saliency maps) pour les algorithmes d'analyse et de reconnaissance d'image. Ces cartes affichent dans une image les pixels en fonction de leur degré d'importance sur le résultat. Enfin, il faut mentionner les méthodes d'explication post-hoc, utilisées quand il n'est pas possible d'accéder aux rouages internes du modèle d'IA. Ces approches sont parfois les seules possibles, notamment dans le cas des algorithmes en boîte noire. Elles parviennent à déduire certains attributs et la logique d'un modèle en le soumettant à diverses techniques, même si elles ont forcément des limites. Ces approches fonctionnent en général par perturbation, en fournissant différents ensembles de données en entrée et en regardant comment le résultat évolue. Elles aident à visualiser le fonctionnement du modèle, à comprendre le rôle et le poids des variables et comment elles interagissent et enfin à savoir ce qui devrait changer pour que la décision change (analyse contradictoire). Ces méthodes incluent par exemple LIME (local interpretable model-agnostic explanations), ICE (individual conditional expectation) ou les valeurs de Shapley, une méthode issue de la théorie des jeux. Le guide écrit par l'expert en machine learning Christoph Molnar détaille les grandes méthodes utilisées à l'heure actuelle.

En dehors de ces méthodes, un autre champ d'études envisage d'intégrer l'explicabilité directement dans les modèles d'IA, pour avoir une IA explicable « by design ». Des approches d'IA hybrides sont notamment évaluées pour rendre les algorithmes plus transparents, sans pour autant renoncer aux techniques avancées de ML là où celles-ci sont performantes. On réduit ainsi la partie opaque des modèles. Il s'agit par exemple d'associer des règles et du ML dans un modèle d'analyse d'image, pour délimiter la zone d'une image où le ML doit s'appliquer. Comme autre exemple, le guide de Telecom Paris cite une règle disant qu'un robot ne doit pas s'approcher « trop près » d'un humain, combinée à du ML pour établir selon contexte ce qu'est « trop près ».

Expliquer n'est pas justifier

Pour conclure, il est intéressant de mentionner les propos de Daniel Le Métayer et Clément Hénin, respectivement directeur de recherche et docteur en informatique, qui ont travaillé ensemble au sein de l'équipe Inria Privatics. Interviewés par le laboratoire d'innovation numérique de la CNIL (LINC), leur regard permet de prendre un peu de recul sur ce domaine en pleine effervescence de l'IA explicable. Ils rappellent notamment qu'expliquer n'est pas justifier, en distinguant quatre notions : la transparence - le fait de rendre visible le fonctionnement de l'IA ; l'explication - le fait de rendre compréhensible ; la justification - pour rendre la décision acceptable et enfin la contestation, pour convaincre qu'une décision est mauvaise. Se contenter de fournir une explication ne suffit pas, il faut s'assurer d'être en mesure de la justifier, et quand la décision concerne un individu, permettre à ce dernier de la contester. Ensuite, Clément Hénin pointe un travers fréquent à l'heure actuelle, le fait que beaucoup d'outils d'explicabilité soient fournis par ceux-là mêmes qui conçoivent les solutions d'IA. « Ce domaine souffre encore beaucoup de ce que le chercheur Tim Miller et ses collègues ont appelé le syndrome des détenus qui veulent diriger l'asile [...], en l'occurrence des experts d'IA expliquant leurs propres productions », observe ainsi Clément Hénin. Il en résulte des explications figées et unilatérales, qui ne répondent pas forcément aux besoins des différents utilisateurs. Avec en suspens, un autre enjeu, « mesurer la qualité d'une explication ou d'une justification ».

Article rédigé par

Aurélie Chandeze, Rédactrice en chef adjointe de CIO
Suivez l'auteur sur Linked In,

Partager cet article