Projets

TotalEnergies PGE unifie son socle de données pour en développer les usages

Responsable IT solutions data et échanges chez TotalEnergies Power gaz Europe France, Ridha Nabli a témoigné à l’invitation de Snowflake.

S'appuyant sur l'intégrateur Keyrus, TotalEnergies Power gaz Europe France a choisi les technologies de Snowflake et Talend pour améliorer l'exploitation de ses données.

PublicitéLe groupe Total a été renommé TotalEnergies en mai 2021, marquant l'évolution de ses métiers, passant exclusivement du gaz et du pétrole à toutes les formes d'énergies. Il dispose désormais de quatre branches : exploration-production, raffinage-chimie, gaz-renouvelables-électricité (dont la filiale TotalEnergies Power gaz Europe France, ancien Direct Energie) et marketing-services. La branche gaz-renouvelables-électricité (GRE) sert 5,5 millions de clients et vise, d'ici 2025, 7,8 millions de sites clients et les 78,6 TWh livrés. Comme dans de nombreuses entreprises, la data était sous-exploitée avec des soucis de performance de traitements, de coût, de croissance des volumes et de délais de mise en production. Une remise à plat s'imposait. Responsable IT solutions data et échanges chez TotalEnergies électricité et gaz France, Ridha Nabli en a témoigné à l'invitation de Snowflake.

La branche GRE voulait disposer d'une plate-forme temps réel, ce qui nécessitait de refondre le modèle de données pour disposer d'une performance satisfaisante, notamment en réduisant le nombre de tables. Plusieurs solutions techniques ont alors été envisagées pour abriter les données de TotalEnergies GRE : Amazon Redshift, Google Big Table, Snowflake... En s'appuyant sur l'expertise de Keyrus, TotalEnergies GRE a créé un démonstrateur à base de Snowflake qui a montré sa pertinence technologique. Snowflake est en effet en mode SaaS, extensible à la volée [scalable], clonable à la volée et performant. Avec Snowflake, TotalEnergies GRE peut disposer de 90 jours de données en ligne et, surtout, peut, grâce à la fonction de data-sharing [partage de la donnée], partager les données entre utilisateurs sans les déplacer ou les dupliquer. Avec d'autres solutions, le coût d'hébergement des données pouvait atteindre 135 $/To (124 euros) contre 23 $/To (21 euros) avec Snowflake. L'intégration des données au fil des événements se réalise grâce à la solution de Talend, y compris l'extraction de SAP en simulant une interaction avec le module BW.

Ridha Nabli, responsable IT solutions data et échanges chez TotalEnergies Power gaz Europe France, a présenté l'architecture générale du projet (cliquer pour agrandir).

Au final, TotalEnergies GRE dispose aujourd'hui d'un seul socle de données avec un datalake sous Snowflake alors que, auparavant, certains usages impliquaient des réplications (comme le décisionnel sous Qlik). Les données y sont directement utilisables, sans datamart intermédiaire dans la plupart des cas, même si Cassandra est utilisé pour quelques usages NoSQL notamment pour les applications mobiles. La solution a de nombreux usages comme le pilotage des bornes de recharge, le développement de modèles prédictifs de non-renouvellement (churn), la prévision des consommations et le coaching des clients pour optimiser leur consommation.

PublicitéCadré au quatrième trimestre 2020, le projet de refonte a été mené sur deux ans par lots. Chaque lot a duré au maximum trois trimestres. Lorsqu'un lot était livré, l'ancien outil correspondant au même usage a été aussitôt décommissionné. Parmi les éléments de succès du projet, Ridha Nabli a insisté sur la conduite du changement pour que chacun s'approprie la solution, la formation des utilisateurs ayant démarré au troisième trimestre 2021.