Technologies

Grand Théma : la GenAI, nouveau cauchemar cyber ?

Odile Duthil, directrice cybersécurité du groupe Caisse des dépôts : « Nous aimerions faire des tests de pénétration sur des IA, Mais sur ce sujet, pour le moment, nous avons encore davantage de questions que de réponses ».

Les applications d'IA générative constituent une nouvelle cible pour les assaillants. Et elles présentent des risques spécifiques, peu familiers pour les équipes cyber. La Caisse des dépôts, le groupe Crédit Agricole et Thalès détaillent leurs efforts pour évaluer et limiter ces nouveaux risques.

PublicitéL'IA nouvelle source de failles cyber ? Evidemment, comme toute nouvelle application, les services d'IA augmentent la surface d'attaque. Mais, au-delà de cette généralité, il faut se pencher sur la nature même des modèles, sur leur nature non déterministe et l'opacité des méthodes d'entraînement qui ont permis de les mettre au point. Autant de caractéristiques sources de risques spécifiques.

Comme le souligne Odile Duthil, directrice cybersécurité du groupe Caisse des dépôts, certains outils de protection restent évidemment pertinents. Comme la gestion des identités, pour contrôler les accès aux services tiers, ou comme la prévention de fuite de données (DLP). Idem concernant certaines bonnes pratiques, comme la classification des données, permettent d'encadrer les usages. « Pour les premiers tests de l'IA générative, comme les données partent à l'extérieur, nous n'avons autorisé que les usages portant sur des données publiques », souligne la responsable.

Visionnez notre émission Grand Théma sur la sécurisation de la GenAI (vidéo, 53 min)

Depuis, au sein de la Caisse des dépôts, les usages se sont largement étendus, renforçant l'enjeu de sécurisation de l'IA générative. L'établissement a notamment multiplié les contrôles, par échantillonnage en particulier, pour valider la qualité des réponses. « L'humain reste la meilleure protection », dit Odile Duthil, qui souligne l'importance de la sensibilisation des collaborateurs. Il n'en reste pas moins que l'outillage cyber n'est pas tout à fait au niveau. « Nous aimerions faire des tests de pénétration sur des IA, mais évidemment cela ne peut pas être des tests classiques. Sur ce sujet, nous avons aujourd'hui encore davantage de questions que de réponses », indique la directrice cybersécurité de la Caisse des dépôts, qui précise que le groupe réfléchit à la rédaction d'une politique de sécurité des SI (PSSI) dédiée à l'IA. Un peu sur le modèle de la PSSI cloud que l'établissement public possède déjà.

Hallucination : « terrible » pour l'image d'une banque

Au sein du groupe Crédit Agricole, la démarche intellectuelle est assez similaire. Là encore, avec une stratégie d'adoption maîtrisée, mêlant expérimentation des usages, pour en extraire les scénarios les plus prometteurs, et analyse des risques. « Ce n'est pas un sujet nouveau car ces risques existent depuis que nous mettons en production des systèmes à base d'IA », dit Aldrick Zappellini, le CDO du groupe bancaire. Ce dernier souligne ainsi les travaux du Crédit Agricole sur les attaques adverses. Le groupe a enrichi cet existant en se basant sur l'AI Act, le règlement européen sur le sujet, « en assortissant au cadre normatif IA du groupe une taxonomie des risques IA, mais aussi en y associant les principaux leviers de détection et d'atténuation des risques ».

Publicité
Aldrick Zappellini, CDO du groupe Crédit Agricole : « Nous essayons d'évaluer comment ces nouveaux risques doivent être gérés par les équipes cyber ».

Au-delà des hallucinations - « qui seraient terribles en termes d'image pour une banque » -, les risques spécifiques des IA génératives comprennent également les contenus inappropriés, les exfiltrations de données, via des prompts malicieux, sans oublier les attaques cyber spécialisées, comme l'injection de prompt. « Nous essayons d'évaluer comment ces nouveaux risques doivent être gérés par les équipes cyber et les nouvelles compétences qu'elles doivent acquérir pour ce faire », dit Aldrick Zappellini, qui cite lui aussi le besoin de mettre sur pied des tests de pénétration spécifiquement pensés pour l'IA.

Monitorer les IA

Autour de ses applications d'IA, le Crédit Agricole a commencé à déployer des lignes de défense, « au pluriel », souligne le CDO. « Nous avons par exemple été très tôt confrontés aux attaques adverses, du fait des nombreux justificatifs que réclament nos processus », souligne le CDO. Qui indique que des travaux ont été menés, lors de la phase d'apprentissage, pour rendre les systèmes plus robustes à ce type d'attaque. « Sans oublier de monitorer les volumes, une augmentation soudaine de ceux-ci devant être considérée comme suspecte et entraîner des contre-mesures pour éviter des répercussions sur les processus », reprend le CDO.

Visionnez notre émission Grand Théma sur la sécurisation de la GenAI (vidéo, 53 min)

Pour Aldrick Zappelini, le battage qui entoure la GenAI est en soi un risque supplémentaire : « le feu des projecteurs autour de ChatGPT a remis l'IA sur le devant de la scène, mais a produit une demande techno-centrée de nos métiers. Ce qui présente un risque. » Car le LLM n'est pas forcément la réponse la plus adaptée à tous les besoins exprimés. Le CDO se dit ainsi très vigilant, lors des phases de cadrage, sur les aspects relatifs aux coûts, aux performances, aux risques, à l'impact environnemental, à la maintenabilité, à l'explicabilité, etc. « C'est une phase clef pour éviter de se trouver limité à des prototypes incapables de passer à l'échelle », souligne le CDO. « Par exemple, nul besoin d'une IA générative pour effectuer de la classification d'emails ! »

« Des vulnérabilités spécifiques, intrinsèques »

Les nouvelles voies d'attaque qu'ouvre l'IA sont l'objet de recherches appliquées chez Thalès, industriel de la défense et de l'aérospatial qui embarque des intelligences artificielles dans nombre de ses systèmes. « Notre équipe est composée de spécialistes en IA et de chercheurs en cybersécurité qui, ensemble, développentune expertise sur la sécurité de l'IA », explique Katarzyna Kapuska, pilote de l'équipe de hackers éthiques du CortAIx Lab, le nouveau laboratoire de recherche de Thalès sur l'intelligence artificielle. Au profit des équipes opérationnelles de l'industriel développant les IA embarquées bien sûr, mais aussi de la communauté de la recherche. « Nous mettons à disposition une partie de nos outils », confirme Katarzyna Kapuska.

Katarzyna Kapuska, pilote de l'équipe de hackers éthiques du CortAIx Lab de Thalès : « des techniques de désapprentissage permettent de faire oublier au modèle une partie des données ».

« L'IA a des vulnérabilités spécifiques, intrinsèques que les attaquants peuvent exploiter pour mettre en cause l'intégrité ou la confidentialité d'un système », souligne d'emblée la chercheuse. Par exemple, en modifiant les données d'entraînement pour empoisonner les modèles ou en attaquant ces derniers afin qu'ils laissent fuiter des données issues de leur entraînement. « On peut parler de fuites indirectes. Nous travaillons sur des parades, notamment lors des phases d'apprentissage, par exemple en bruitant les informations. Même s'il y a un compromis à trouver entre la confidentialité recherchée et l'efficacité du modèle », détaille Katarzyna Kapuska. « Nous avons aussi des techniques de désapprentissage permettant de faire oublier au modèle une partie des données », ajoute la pilote de l'équipe de hackers éthiques, qui a précisément gagné en 2023 un challenge organisé par la DGA consistant à contourner ces techniques. « Mais ça ne veut pas dire que celles-ci sont inefficaces », glisse la chercheuse.

Voler un modèle par reverse engineering

Cette dernière souligne encore un risque souvent ignoré de la plupart des organisations : le vol de modèles, y compris quand ce dernier n'est accessible à l'assaillant que sous la forme d'une boîte noire. « Un assaillant peut utiliser cet accès pour labelliser ses données sur le modèle ciblée et entraîner sa propre IA qui sera une copie approchante de l'original », note la chercheuse. La défense passe alors par des filtres associés à l'interface. Mais aussi par des filigranes apposés sur le modèle, passant par le marquage des poids ou par la programmation de comportements spécifiques. Précisément une des spécialités de Thalès.

Visionnez notre émission Grand Théma sur la sécurisation de la GenAI (vidéo, 53 min)