Technologies

Grand Théma : l'environnement, l'angle mort du boom de l'IA générative

---

Pour le Grand Théma sur le numérique responsable, CIO et Le Monde Informatique se penchent sur l'impact environnemental de l'IA, et plus particulièrement de l'IA générative. Un thème laissé dans l'ombre jusqu'à présent par des fournisseurs peu transparents sur ce sujet.

PublicitéA l'image de leur entreprise, la plupart des DSI sont engagés dans une politique de limitation des impacts environnementaux du numérique, ou Green IT. Avec des initiatives sur l'allongement de la durée de vie des terminaux ou l'éco-conception des applications par exemple. Une démarche au long cours que vient percuter le boom de l'IA, et en particulier de l'IA générative. Les capacités généralistes de ces modèles sont directement liées à la taille des modèles de langage (les LLM) qui les sous-tendent, eux-mêmes ayant donc besoin d'une puissance machine considérable pour les phases d'entraînement (parfois des millions d'heures de calcul par des GPU).


Sasha Luccioni, HuggingFace : « la génération de texte est beaucoup plus énergivore qu'une simple recherche. Cela ne fait aucun sens de générer du texte pour ce type de besoin ».

Et, attention, prévient Sasha Luccioni, chercheuse spécialisée sur le sujet au sein de la start-up HuggingFace, on ne peut pas limiter l'évaluation de l'impact environnemental des IA génératives à la seule phase d'entraînement. Etant donné la large diffusion des usages de la technologie, l'inférence (soit la production de résultats) pèse également très lourd. Le tout dans un contexte où les éditeurs d'outils d'IA générative, comme OpenAI, Meta ou Google, ne sont guère diserts sur les émissions générées par leurs services. « Depuis le lancement de ChatGPT, il y a encore moins de transparence sur les chiffres qu'auparavant. C'est le secret total », regrette Sasha Luccioni.

Visionnez l'émission des rédactions du Monde Informatique et de CIO avec les témoignages Sasha Luccioni, Stéphane Tanguy et Jean Ponce (vidéo, 43 min.)

Une récente étude à laquelle Sasha Luccioni a participé évalue à entre 200 et 500 millions le nombre de requêtes nécessaires pour atteindre un impact environnemental équivalent à la phase d'entraînement (le chiffre précis dépendant de l'usage et de la taille du modèle). « 200 millions de requêtes pour ChatGPT, ce ne sont que trois semaines d'usage normal », souligne la chercheuse. Cette étude pointe encore les usages des IA génératives les plus consommateurs d'énergie, comme la génération d'images, ainsi que le surcoût environnemental des modèles les plus génériques par rapport à des équivalents plus petits et pensés pour des tâches spécifiques. Et Sasha Luccioni de souligner l'aberration que constitue l'utilisation de la GenAI dans le cadre de la recherche : « la génération de texte est beaucoup plus énergivore qu'une simple recherche. Cela ne fait aucun sens de générer du texte pour ce type de besoin ».

PublicitéLa piste du quantique

DSI et CTO des laboratoires EDF, Stéphane Tanguy est, avec ses équipes, avant tout un utilisateur d'IA, par exemple pour améliorer le niveau de précision des prévisions de consommation. « D'autant que le modèle s'est complexifié avec la production décentralisée. Il va falloir être en mesure d'effectuer des prévisions à des mailles plus locales qu'auparavant », décrit le DSI et CTO. Pour ces besoins, mais aussi pour les calculs de simulation - soit des millions de tâches chaque mois -, EDF commence à « afficher aux utilisateurs internes le coût énergétique calcul par calcul ».


Stéphane Tanguy, EDF : « dans l'informatique quantique, nous avons lancé un projet de recherche pour essayer de faire les bons choix de design d'emblée, contrairement au transistor et au microprocesseur qui se sont développés sans prendre en compte la contrainte environnementale »

Au-delà de cette responsabilisation des utilisateurs, EDF travaille sur plusieurs pistes technologiques, à divers horizons. « Sur le court terme, la tendance consiste à aller vers des modèles plus frugaux, des modèles plus petits que GPT 3.5 ou 4. Nous voulons développer des modèles souverains à partir de petits modèles Open Source et les spécialiser sur nos propres bases de connaissances », dit Stéphane Tanguy. A moyen et long terme, la R&D de l'électricien évalue aussi les opportunités amenées par l'informatique quantique. « Les ordinateurs quantiques actuels, avec quelques centaines de qubits, ont des consommations relativement raisonnées. Mais ce n'est pas suffisant pour prédire leur performance une fois qu'ils passeront à l'échelle », reprend le DSI. D'où un projet de recherche, de quatre ans, lancé par EDF avec d'autres acteurs de l'écosystème quantique afin de défricher ce sujet de la consommation énergétique des systèmes quantiques. L'objectif de ce programme soutenu par la BPI ? « Essayer dès aujourd'hui de faire les bons choix de design en la matière, contrairement au transistor et au microprocesseur qui se sont développés sans prendre en compte la contrainte environnementale », indique Stéphane Tanguy.

Les réseaux de neurones et la « fuite en avant »

Le professeur au département d'informatique de l'ENS PSL Jean Ponce rappelle, de son côté, le cadre dans lequel doit s'inscrire la réflexion sur l'impact de l'IA. La consommation énergétique des datacenters hébergeant les modèles d'IA n'est ainsi que le volet le plus visible de l'impact environnemental de la technologie, qui devrait tenir compte du cycle complet, allant de la production des matériaux et composants nécessaires à la construction des datacenters à leur recyclage en passant par la consommation d'eau. Et de noter le flou qui entoure encore les évaluations actuelles : « sur l'impact de l'IA, les études se contredisent les unes les autres », note Jean Ponce.

Ce dernier souligne la rupture amenée par les réseaux de neurones convolutifs à la fin des années 80 qui, une fois passés à l'échelle sur des grands volumes de données associées à d'importantes capacités de calcul, ont commencé à fournir des résultats probants aux débuts des années 2010. « C'est à ce moment-là qu'on s'est aperçu qu'avoir énormément de données et de moyens de calcul permettait d'obtenir de bien meilleurs résultats. Et, depuis, on assiste à une fuite en avant », décrit le professeur, qui travaille également à l'Université de New York.

Toutefois, selon Jean Ponce, plusieurs raisons poussent aujourd'hui les chercheurs à développer des IA plus frugales : des raisons qu'ils qualifient « d'esthétiques » - développer un modèle surpuissant pour couvrir un ensemble de tâches spécialisées est une solution mathématique peu élégante -, la limitation de l'impact environnemental, mais aussi le développement d'applications embarquées ou Edge. « Par exemple, pour un robot, il est absurde d'apprendre à un modèle les mouvements de ce robot, puisque vous l'avez construit, donc vous avez déjà ces informations », illustre l'universitaire. Une façon d'allier modélisation et IA pour limiter la facture climatique globale d'une technologie de plus en plus présente dans les entreprises.

Visionnez l'émission des rédactions du Monde Informatique et de CIO avec les témoignages Sasha Luccioni, Stéphane Tanguy et Jean Ponce (vidéo, 43 min.)

Article rédigé par

Reynald Fléchaux, Rédacteur en chef CIO
Suivez l'auteur sur Twitter

Partager cet article