Projets

Analyse de commentaires : Ubisoft fait entrer la GenAI dans le jeu

Benoit Damiani, Data Scientist chez Ubisoft : « dès qu’on rentre dans le détail, le besoin d’accompagnement et de structuration se fait immédiatement sentir ». (Photo : R.F.)

L'éditeur de jeux vidéo utilise l'IA depuis plusieurs années pour interpréter les commentaires libres des joueurs. Et teste les apports de l'IA générative pour cette application. Touchant ainsi du doigt les apports, mais aussi les limites, de la technologie.

PublicitéExploiter l'IA générative pour mieux comprendre les commentaires libres des joueurs. C'est l'astuce que tente d'exploiter le département études (dénommé Global Strategic Insights) de l'éditeur de jeux Ubisoft (2,3 Md€ de chiffre d'affaires en 2023). Voué à la compréhension du ressenti des joueurs et des tendances de marché, ce département du groupe français aux 21 000 collaborateurs compte dans ses rangs une petite équipe data de quelques personnes.

Depuis 2018, celle-ci utilise la solution de l'éditeur français Dataiku et des modèles d'IA pour analyser les commentaires des joueurs, recueillis dans le cadre d'enquêtes et de sondage. Dès 2018, l'éditeur utilise un modèle de type LDA (Latent Dirichlet Allocation ou allocation de Dirichlet latente), une approche classique pour identifier les thèmes récurrents dans cette masse de données non structurées. En 2020, l'éditeur de Montreuil migre sur ses propres modèles de NPL (Natural Language Porcessing), qu'il met à jour en 2023. Dans la lignée de ces travaux, l'équipe Global Strategic Insights s'intéresse, à partir de la mi-2024, à l'IA générative, via l'accès aux LLM d'OpenAI (exploités sur le cloud Azure). Le prototype ainsi mis au point, que la société a dévoilé lors à l'occasion du Every day AI summit de Dataiku à Paris, le 26 septembre, s'accompagne d'une évolution de la restitution. Par rapport au fichier Excel (thématiques en colonnes, avec les commentaires associés en dessous) des précédentes versions, l'IA générative permet de proposer une synthèse, tout en proposant le lien vers les citations brutes des joueurs.

Fiabiliser les réponses

Si la technologie apparaît comme le prolongement des travaux précédents d'Ubisoft sur le sujet, sa mise en oeuvre suppose, comme dans d'autres secteurs, un certain nombre de précautions. « Nous sommes partis des limites des modèles », indique ainsi Benoit Damiani, Data Scientist chez Ubisoft. Par exemple, l'éditeur de jeux s'aperçoit que le modèle GPT-4o donne une prime au premier commentaire, créant par là même un problème de représentativité. La société s'attache aussi à filtrer au maximum les hallucinations inhérentes à la GenAI, « même si je ne m'engagerais pas à affirmer que c'est parfait », reconnaît le Data Scientist.

« Pour créer un modèle plus robuste, nous lui demandons une réponse plusieurs fois de suite sur différents échantillons de data », détaille ce dernier. Par ailleurs, sur chaque commentaire de joueur pris individuellement, Ubisoft extrait les sujets et les sentiments qui se dégagent. Pour éviter les problèmes de représentativité, l'équipe de Data Science filtre également les sujets peu présents dans les commentaires.

Un PoC en une heure, un prototype en deux mois

« Nous parvenons à une bonne représentativité des trois-quarts des commentaires, ce qui représente en gains d'environ 25% par rapport au modèle GPT-4o ce base », assure Benoit Damiani. Qui reconnaît que ce résultat reste toutefois légèrement inférieur au niveau obtenu avec les modèles d'IA plus classiques. Le Data Scientist indique également être parvenu à un taux de stabilité des réponses de 0,82 ; « une belle amélioration par rapport au modèle de base ». Le tout pour un coût jugé « raisonnable » par le membre du département enquête (soit 50 centimes par question en moyenne, pour un temps de réponse d'environ 1min30). Mais, pour Ubisoft, le principal bénéfice de ce qui reste à ce jour un prototype réside dans la qualité des restitutions, avec des thématiques jugées plus facilement interprétables selon Benoit Damiani.

PublicitéPour ce dernier, ce premier développement avec la GenAI permet de toucher du doigt les passages obligés d'un projet avec cette technologie. « Réaliser un PoC nous a pris moins d'une heure, déployer un projet pilote a demandé deux mois. Dès qu'on rentre dans le détail, le besoin d'accompagnement et de structuration se fait immédiatement sentir », résume Benoit Damiani. Par ailleurs, les tests d'Ubisoft montrent que, dans ce cas spécifique, les prompts complexes ne donnent pas forcément un résultat plus précis. « Il faut mesurer pour en prendre conscience », souligne le Data Scientist, qui conseille également de se montrer patient avec le modèle, en le nourrissant d'exemples, d'explications des attentes, etc.

Traiter d'autres sources de textes

Testée par des analystes, l'application interprétant les commentaires de joueurs devraient encore connaître deux ou trois itérations avant la mise en production d'une version finale, selon Benoit Damiani. « Nous maîtrisions déjà le besoin et disposions de données prêtes à l'emploi, ce qui a permis d'itérer assez vite », dit-il. Le Data Scientist envisage désormais de tester la GenAI sur d'autres besoins liés à l'interprétation de données non structurées, comme des interviews ou critiques détaillées de joueurs, longues mais peu nombreuses, ou les avis laissés par ces derniers sur les sites communautaires, qui sont à l'inverse nombreux mais brefs. Pour le Data Scientist, reste à savoir comment les modèles d'OpenAI répondront dans ces deux cas d'usage que presque tout oppose.