Tribunes

Les risques juridiques de la décision algorithmique

Christiane Feral-Schuhl est avocate associée du Cabinet Feral-Schuhl / Sainte-Marie.

L'avocate Christiane Féral-Schuhl rappelle que l'intelligence artificielle n'est rien de plus que la reproduction de l'intelligence de ses concepteurs et ses décisions reproduisent un passé pas forcément idéal.

PublicitéAujourd'hui, le numérique est partout, tout le temps. Il s'impose, désormais incontournable, particulièrement dans les circonstances exceptionnelles que nous connaissons actuellement, en pleine crise du Covid-19. Il permet de continuer à travailler à distance pour ceux qui le peuvent, de faire tourner notre économie, de communiquer et de rester connecté avec l'information. Il ouvre de nouvelles perspectives, à titre professionnel bien sûr, mais aussi dans le domaine privé, pour faire du sport, s'occuper des enfants, pour se former, étudier...
Et demain ?

Demain, il est prévu d'utiliser l'intelligence artificielle pour construire un référentiel indicatif d'indemnisation des préjudices corporels afin de constituer un support à la décision des juges. En effet le décret dit « Datajust » du 27 mars 2020 [Décret n° 2020-356, 27 mars 2020 : JO, 29 mars 2020] prévoit le développement d'un dispositif algorithmique permettant de recenser, par type de préjudice, les montants demandés et offerts par les parties à un litige ainsi que les montants alloués aux victimes en indemnisation de leur préjudice corporel dans les décisions de justice rendues en appel par les juridictions administratives et judiciaires sur la période 2017 à 2019.

Des sujets d'étonnement

On peut d'abord s'étonner de la publication de ce décret publié un dimanche, alors que le pays entier est mobilisé pour lutter contre le virus COVID-19, au moment même où toutes nos énergies sont absorbées par le maintien impératif des services publics de la justice et alors que le Président de la République nous avait annoncé que seuls des textes en lien direct avec l'état d'urgence sanitaire seraient pris.

On peut également s'étonner que s'agissant d'un traitement de données à caractère personnel, un certain nombre de garanties prévues par le RGPD n'ait pas vocation à s'appliquer, sans que la Cnil n'y ait trouvé d'ailleurs à redire [Cnil, délibération n°2020-002 portant avis sur le projet de décret]. Le décret écarte expressément le droit d'information « compte tenu des efforts disproportionnés que représenterait la fourniture des informations mentionnées aux paragraphes 1 à 4 de l'article 14 du » RGPD ; de même, il exclut le droit d'opposition (Règl., art. 21) pour « garantir l'objectif d'intérêt public général d'accessibilité du droit » (Règl., art. 23).

Des sujets d'inquiétude

Mais on s'inquiétera surtout d'un dispositif, présenté comme simplement expérimental, alors qu'il préfigure la mise en oeuvre de la justice prédictive. De quoi s'agit-il ? Pour fonctionner, l'intelligence artificielle a besoin de données, d'un algorithme et d'une puissance de calcul.
La puissance de calcul, c'est la machine, purement et simplement.

PublicitéMais les données qu'on met à disposition et l'algorithme qui va les traiter : ce sont des êtres humains qui les pensent, les conçoivent et les testent. Or, leurs choix - qui s'imposeront à tous - sont empreints d'une certaine subjectivité : parce que l'être humain est subjectif. Et cette subjectivité s'exprime dans des biais cognitifs. Ils résultent de notre éducation, de notre expérience, de notre culture, de notre condition sociale... . Ils ne sont pas la conséquence d'une construction volontaire. Ils sont. Et ils se retrouvent dans le produit de nos inventions : l'intelligence artificielle n'est rien de plus que la reproduction de l'intelligence de ses concepteurs.

Des craintes de décisions injustes

Alors ces biais imprègnent les données d'abord. Ces données nous les produisons, nous les structurons et nous disons à la machine comment les analyser. Une base de données de décisions de justice est composée de données issues d'une jurisprudence construite par des femmes et des hommes. Les décisions rendues sont donc susceptibles d'être empreintes de biais. Par exemple, une femme salariée, statistiquement moins payée qu'un homme, verra son préjudice corporel moins indemnisé qu'un homme. Pourquoi ? Parce qu'une partie au moins de l'indemnisation des victimes repose sur la rémunération perçue avant l'accident.

Par ailleurs, l'algorithme, en faisant ressortir des résultats fondés sur ces données, les reproduira. Il s'entrainera sur des données du passé pour dire le présent : il aura donc toujours un temps de retard. Il ne prédira rien. Il ne fera que répéter. Les algorithmes n'ont d'intérêt que si la loi et la jurisprudence restent stables. Toute évolution de la loi risque de rendre tout référentiel d'indemnisation caduc.
Au-delà des données, c'est la logique décisionnelle de l'algorithme qui peut également poser questions. Quels sont les critères d'analyse retenus ? Qui décide ? Un individu. Qui contrôle ? Personne.

Des risques de discrimination

Comme une suspicion de biais discriminant est difficile non seulement à identifier mais plus encore à réparer, il est impératif que les critères d'analyse des algorithmes soient envisagés dans le respect de l'éthique, dès la conception. D'où l'importance d'exiger que les règles éthiques proposées par le Conseil de l'Europe soient un pré-requis.

Il appartient enfin de rappeler que le rôle de l'avocat est précisément de veiller à ce que la situation particulière d'une personne ne soit jamais occultée au profit de la statistique.

Article rédigé par

Christiane Féral-Schuhl, cofondatrice du cabinet FÉRAL
Christiane Féral-Schuhl est avocate associée du cabinet FÉRAL. Depuis plus de 35 ans, elle exerce dans le secteur du droit du numérique, des données personnelles et de la propriété intellectuelle. Elle est également inscrite sur la liste des médiateurs auprès de différents organismes (OMPI, CMAP, Equanim) ainsi que sur la liste des médiateurs de la Cour d'Appel de Paris et du Barreau du Québec (en matière civile, commerciale et travail). Elle a été nommée seconde vice-présidente du Conseil national de la Médiation (2023-2026).

Elle a publié plusieurs ouvrages et de nombreux articles dans ses domaines d'expertise. Dont, tout récemment, « Adélaïde, lorsque l'intelligence artificielle casse les codes » (1ère BD Dalloz, 16 mai 2024) avec l'illustratrice Tiphaine Mary, également avocate.

Elle a présidé le Conseil National des Barreaux (2018-2020) et le Barreau de Paris (2012- 2013). Elle a également co-présidé avec le député Christian Paul la Commission parlementaire sur le droit et les libertés à l'âge du numérique et a siégé au Haut Conseil à l'égalité entre les femmes et les hommes (2013-2015) et au Conseil Supérieur des tribunaux administratifs et des cours d'appel administratives (CSTA CAA -2015-2017).
Suivez l'auteur sur Linked In, Twitter