Projets

France Travail dissèque la satisfaction de ses utilisateurs avec l'IA

L’architecture technique utilisée pour mesurer le ressenti des utilisateurs des SI va aussi être exploitée pour évaluer la pertinence du référencement des pages Internet.

L'organisme public réexploite une architecture conçue pour analyser les performances des applications décisionnelles afin d'intégrer la GenAI. Objectif : analyser les verbatims des utilisateurs de ses principaux systèmes d'information.

PublicitéSuivre les usages des services décisionnels et du datalake. C'est autour de ce besoin relativement étroit qu'a démarré, en 2019, le projet Loop au sein de France Travail (alors Pôle Emploi). « L'objectif était de produire des indicateurs sur les usages et la performance des produits décisionnels », indique Jean-Marc Walter, le responsable produit de Loop (pour Levier d'optimisation des outils et des produits), au sein de la DSI/DSPC de France Travail. C'est pour ce cahier des charges que la petite équipe réunie autour de Jean-Marc Walter bâtit une architecture technique basée sur une solution de virtualisation de la donnée (Denodo) et sur une couche de visualisation des données (DigDash).

« Au départ, nous avions réalisé une maquette sur Postgre et sur un développement en Angular », rappelle Jean-Marc Walter. « Une première approche qui a rapidement montré ses limites, car il fallait récupérer de nombreuses sources de données de monitoring. » Au total, entre 20 et 25 sources, dont certaines provenant directement du datalake de France Travail, sont nécessaires à la mise en oeuvre de Loop. Passé par un prototype fin 2020, le projet entre en production en octobre 2022, via une première version dédiée donc au suivi des usages décisionnels.

Croiser les analyses de l'IA et des dimensions plus classiques

Mais ce n'est finalement là qu'un galop d'essai pour Loop, dont l'architecture va ensuite être réexploitée pour d'autres usages. Créée il y a environ un an et demi au sein de France Travail, la direction Opus, chargée de conserver un regard transverse sur le système d'information de l'organisme et le niveau de satisfaction de ses utilisateurs, s'intéresse à l'architecture mise en place pour Loop, afin de disposer de KPI sur le niveau d'utilisation du SI. « Sur une logique de type data mesh, la direction Opus a la possibilité de créer et enrichir ces tableaux de bord », indique Jean-Marc Walter. Mise en oeuvre fin 2023 et début 2024, cette extension produit notamment un indicateur majeur pour la DSI de l'organisme : le taux de satisfaction des utilisateurs.

Ce premier pas pousse France Travail à s'intéresser à une autre source d'information concernant le ressenti des utilisateurs vis-à-vis des systèmes d'information : les verbatims. « Dès le début 2024, nous avons eu l'intuition que nous pouvions exploiter l'IA générative pour évaluer les 50 000 à 60 000 verbatims annuels concernant les 45 produits IT majeurs de France Travail », souligne Jean-Marc Walter. Là encore, en réexploitant l'architecture de Loop pour croiser les analyses de ressenti de l'IA avec d'autres dimensions, comme les profils des utilisateurs (métier, agence de rattachement, région, etc.) et les catégories définies pour classer les commentaires. « C'est une sorte de DatIAviz, mixant des données traditionnelles et celles issues d'une analyse par IA », ironise le responsable. Selon lui, la solution, fonctionnant avec GPT 3.5 puis GPT 4, est en production sur 6 produits essentiels de la DSI. « Toutes les nuits, un processus automatique récupère les nouveaux verbatims, les données sont ensuite préparées dans Denodo et viennent rafraîchir le cube que manipule DigDash », détaille Jean-Marc Walter.

PublicitéEvaluer la pertinence du référencement

La solution, qui doit s'étendre aux 45 produits numériques identifiés comme essentiels en 2025, permet de suivre des indicateurs et tendances, mais aussi de descendre jusqu'au niveau du commentaire individuel, les identifiants des agents étant préalablement anonymisés dans Denodo. « Nous avons ainsi pu déceler des tendances qui restaient sous le radar auparavant, et déclencher des actions de terrain en fonction de ces constats », assure Jean-Marc Walter. L'architecture de cette version de Loop, baptisée LoopGPT, permet aussi d'intégrer rapidement différents LLM. Comme ceux de Mistral, récemment testés par France Travail. « Intégrer un modèle Mistral nous a demandé entre une et deux heures. Cela revient à un simple paramétrage dans une vue Denodo », reprend le responsable.

Les premiers jalons franchis avec LoopGPT incitent désormais France Travail à tester de nouveaux cas d'usage de l'application. Comme ce prototype bâti pour évaluer la pertinence du référencement des URL. « Chaque adresse est associée à une balise de titre. Nous avons utilisé LoopGPT pour repérer les mots-clefs de chaque titre et les comparer à ceux utilisés par les usagers dans leurs recherches », détaille Jean-Marc Walter. Le score de pertinence est obtenu via le calcul d'un indicateur, appelé coefficient de Jaccard, une technique suggérée à l'équipe de Loop par... ChatGPT. « Nos experts en data science ont obtenu un résultat convergent avec une approche très différente, ce qui montre la fiabilité de l'IA sur ce sujet », souligne le responsable. Testé sur 4000 URL, LoopGPT a reçu le feu vert en interne pour passer en production sur 1,2 million d'adresses Internet, afin d'assurer un suivi trimestriel des 10 principaux sites de l'organisme public.