Technologies

Développement: l'IA générative n'est pas la panacée

Si les usages de l’IA générative sont largement répandus parmi les équipes de développement, la technologie n’aurait pas d’effet bénéfique sur la performance réelle de celles-ci, selon l’équipe Dora. (Photo : Thisisengineering RAEng/Unsplash)

Une équipe de recherche s'intéresse à l'impact réel de la GenAI sur le développement. Et décèlent des gains ponctuels, mais un recul global de la performance des équipes et de la stabilité du code. Un paradoxe dû à un manque de maîtrise des équipes Devops ?

PublicitéLe développement est régulièrement cité comme un des domaines d'application majeurs de l'IA générative. Ecriture de code, documentation, transcodage, conception de jeux de tests... Les scénarios d'usage évoqués sont multiples. Et les gains de productivité (on parle fréquemment de 30%) seraient particulièrement importants. Mais qu'en est-il en réalité ? C'est la question que tente de trancher l'équipe Dora de Google, dans un rapport récemment publié. Dora, acronyme de Devops Research and Assessment, est une initiative de recherche fondée en 2014 par trois pionniers du Devops et rachetée en 2018 par la firme de Mountain View. Son rapport annuel, le "State of Devops Report", est devenu une référence du domaine.

Dans un rapport dédié au sujet de la GenAI, cette équipe s'interroge donc sur l'impact réel de l'IA pour les praticiens. « Ce qui semble clair, c'est que l'IA a un impact substantiel et bénéfique sur le workflow, la productivité et la satisfaction au travail », écrivent les auteurs. Ces derniers évaluent le gain de productivité individuel à 2,1% quand l'adoption de la technologie progresse de 25%. « Cela peut sembler peu, mais il s'agit d'un niveau individuel. Imaginez que ce schéma s'étende à des dizaines de développeurs, voire à des dizaines de milliers », précise l'équipe Dora.

Regard critique comme avec Stack Overflow

Par ailleurs, l'accroissement de 25% des usages de l'IA est associée à un accroissement net de la qualité de la documentation (estimé à +7,5%) et à un gain significatif sur la qualité du code (+3,4%) et sur la vitesse des revues de code (+3,1%). Les progrès sont plus marginaux en matière de vitesse d'approbation et de diminution de la complexité du code. « Combiné à un éventuel remaniement du code Legacy, le code de qualité généré par l'IA pourrait conduire à des bases de code globalement meilleure. Celles-ci pourraient en outre être améliorées par un accès à une documentation de meilleure qualité », anticipent les chercheurs. Même si pour ces derniers, les développeurs doivent continuer à considérer l'IA comme une ressource nécessitant regard critique, vérification et perfectionnement. Comme ils le faisaient avec Stack Overflow.

Si des gains sont donc mesurables, dans le détail, tout n'est pas si idyllique. Sur le papier, la technologie est censée permettre aux équipes de se concentrer sur les tâches à haute valeur ajoutée, en automatisant les travaux répétitifs. « Toutefois, nos données suggèrent que l'adoption accrue de l'IA pourrait avoir l'effet inverse, à savoir réduire le temps consacré à des tâches utiles, alors que le temps consacré à des tâches pénibles ne semble pas affecté », soulignent les chercheurs.

PublicitéUn delivery moins efficace, un code moins stable

Ces derniers expliquent ce paradoxe par ce qu'ils appellent « l'hypothèse du vide ». « En augmentant la productivité et la fluidité, l'IA aide les gens à travailler plus efficacement. Cette efficacité leur permet de terminer plus rapidement le travail qu'ils considèrent comme précieux », estime Dora. A l'inverse, le temps consacré aux travaux pénibles ne semble pas être affecté par l'arrivée de la technologie. « L'IA n'a pas encore réussi à nous aider à éviter la corvée des réunions, de la bureaucratie et de nombreuses autres tâches fastidieuses », résument les auteurs.

Plus surprenant encore, alors qu'elle a mesuré des progrès sur des aspects précis, l'équipe Dora note que l'adoption de l'IA a pour l'instant... un impact négatif sur la performance globale en matière de production logicielle. L'effet est limité (une réduction de 1,5% quand l'adoption progresse de 25%), mais bel et bien négatif. Et il est même pire en matière de stabilité du code livré, ce facteur reculant de 7,2% quand les usages de la GenAI s'accroissent d'un quart, selon les estimations de Dora.

Une vraie surprise pour les chercheurs pour qui, habituellement, tout progrès dans le processus de développement (qualité de la documentation, du code, vitesse des revues de code...) se traduit par des améliorations dans le delivery. « Nous émettons l'hypothèse que le changement de paradigme fondamental que l'IA a produit en termes de productivité des répondants et de vitesse de génération de code a peut-être fait oublier l'un des principes les plus fondamentaux de Dora, à savoir l'importance des petites tailles de lots », écrivent les auteurs du rapport. Preuve que les équipes Devops doivent encore apprivoiser la technologie pour en faire un moteur d'efficacité sur le seul indicateur qui compte réellement : leur contribution à l'évolution applicative de leur organisation et la stabilité des applications mises en production.