Stratégie

Le manque de KPI condamne la réussite des stratégies d'IA

Selon IDC, 70 % DSI indiquent que neuf applications d'IA développées en interne sur dix ne parviennent pas à passer en production. (Photo : Andreas160578/Pixabay)

Près d'un tiers des DSI ne savent pas quels prototypes d'IA ont réellement atteint leurs objectifs. Mais ils continuent pourtant à lancer des projets. Une stratégie condamnée à l'échec.

PublicitéDe nombreuses organisations ont lancé des dizaines de PoC (proof-of-concept) d'IA pour en voir un pourcentage considérable échouer, en partie parce que les DSI ne savent tout simplement pas si ces prototypes atteignent les objectifs clefs qui leur sont assignés. Dans une étude IDC datant de septembre, 30% des DSI reconnaissent en effet ne pas être en mesure de déterminer quel pourcentage de leurs PoC d'IA atteignent les KPI cibles ou peuvent être considérés comme réussis.

Combiné à une autre étude d'IDC datant d'avril dernier, qui révélait que les organisations lançaient en moyenne 37 PoC d'IA, ce nouvel éclairage suggère que de nombreux DSI ont adopté une approche au doigt mouillé, souligne Daniel Saroff, vice-président pour le conseil et la recherche chez IDC. En moyenne, seulement cinq PoC d'IA vont en production sur des douzaines d'initiatives, et seulement trois d'entre eux sont considérés comme réussis. Autrement dit, la vague de projets nés de l'IA générative se traduit par beaucoup d'expérimentations, mais peu d'impact, résume Daniel Saroff.

Dans un tiers des cas, aucun PoC ne va en production

« Lorsqu'elles disent qu'elles ne savent pas quels sont leurs indicateurs clés de performance, ce que les entreprises disent en réalité, c'est que lorsqu'elles ont mis sur pied le PoC, elles ne savaient pas comment mesurer son succès », ajoute l'analyste. Le coût potentiel peut être énorme, certains PoC coûtant des millions de dollars, selon Daniel Saroff.

Par ailleurs, environ 70 % des personnes interrogées par IDC en septembre déclarent que neuf applications d'IA spécifiques sur dix ne parviennent pas à franchir l'étape du prototype et à passer en production. 35% des DSI interrogés ont déclaré qu'aucune de leurs applications d'IA construites en interne n'a dépassé le stade du PoC ! Les DSI ont un peu mieux réussi avec les applications d'IA issues des fournisseurs, mais près des deux tiers d'entre eux ont tout de même relevé un taux d'échec de 90 % avec les PoC d'IA pilotés par les fournisseurs.

Trop de précipitation, pas assez de préparation

Même lorsque les applications d'IA sont mises en production, de nombreux DSI n'ont pas une idée précise de la manière d'en définir le succès. Près de la moitié des décideurs IT indiquent ainsi ne pas savoir si leurs applications d'IA passées en production se traduisent par des bénéfices, ou pensent qu'il est trop tôt pour le dire.

Dans de nombreux cas, les organisations semblent lancer des PoC sans préparation suffisante, souligne Daniel Saroff. Par exemple, elles sont nombreuses à avoir lancé des projets d'IA génératives sans avoir nettoyé et organisé leurs données internes au préalable. « Nous constatons que le manque de succès de l'IA générative s'explique en grande partie par un facteur qui, avec un peu de recul, est évident, à savoir de mauvaises données, dit l'analyste. Il s'agit d'une nouvelle technologie qui fait l'objet d'un important battage médiatique, les gens pensent qu'ils doivent se précipiter, mais négligent les préparatifs nécessaires. »

PublicitéLe manque de maîtrise des données et la gestion inadéquate des accès semblent être deux des principaux obstacles à la réussite des PoC d'IA, précise Daniel Clydesdale-Cotter, DSI chez EchoStor, un distributeur de solutions IT. « Le fait que de nombreuses entreprises se précipitent pour mettre en oeuvre l'IA sans se demander qui détient les données, où elles se trouvent et qui peut y accéder par le biais des modèles d'IA est particulièrement préoccupant, dit-il. Le taux d'incertitude élevé qui entoure la réussite des projets d'IA indique probablement que les entreprises n'ont pas établi de limites claires entre les informations propriétaires, les données des clients et l'entraînement des modèles d'IA. » Le contrôle des accès est en effet un point clef, selon Daniel Clydesdale-Cotter. L'équipe financière d'une organisation ne devrait ainsi pas avoir accès aux données utilisées dans un outil d'IA pour les RH, et vice versa.

Faire une pause dans la frénésie de PoC

En outre, le pourcentage de DSI incapables de dire si leurs PoC d'IA sont couronnés de succès suggère un manque de planification stratégique avant le lancement des projets, reprend Michael Stoyanovich, vice-président et consultant chez Segal, une société de conseil spécialisée dans les ressources humaines et les avantages sociaux. « Cette incertitude peut conduire à un gaspillage de ressources et, plus important encore, à des opportunités d'amélioration manquées », remarque-t-il

Dans de trop nombreux cas, les organisations semblent lancer des PoC d'IA sans tenir compte de l'impact sur l'entreprise. Si certains prototypes peuvent apporter des améliorations incrémentales à la productivité interne, ces projets changent rarement la donne, souligne-t-il. « Les organisations se contentent de sauter le pas et n'établissent pas de plan stratégique pour intégrer l'IA dans leur organisation de manière réfléchie, ajoute Michael Stoyanovich. Il est non seulement approprié, mais probablement bénéfique, de faire une pause. » Afin de dégager une stratégie claire.

Les résultats de l'enquête IDC sont « alarmants », à la fois parce que près d'un tiers des DSI ne comprennent comment mesurer le succès de leurs initiatives et parce que 90 % ou plus d'entre elles échouent, ajoute David Curtis, directeur technique de RobobAI, une fintech qui utilise l'IA pour aider les entreprises à gérer leurs chaînes d'approvisionnement. De nombreux PoC semblent manquer d'objectifs et de KPI clairs, souligne-t-il. Il rejointpar ailleurs IDC pour constater que de nombreuses entreprises lancent des projets d'IA avec des données insuffisantes ou de mauvaise qualité.

L'échec des PoC va-t-il stopper toute expérimentation ?

Trop de personnes qui poussent les organisations à adopter l'IA ne comprennent pas cette technologie, affirme le CTO. De nombreux cadres ont également des idées préconçues sur la quantité de travail nécessaire pour déployer l'IA, et certains pensent à tort que l'IA remplacera de nombreux employés, ajoute-t-il.

« Les gens pensent que l'IA est en quelque sorte magique, qu'elle va résoudre tous les problèmes d'un seul coup, ajoute-t-il. Exploiter cette technologie représente un effort relativement important, en fonction du cas d'utilisation. Il ne s'agit pas simplement de prendre une solution sur étagère et de la faire fonctionner ». Dans certains cas, l'échec d'une initiative d'IA peut être instructif et orienter les organisations vers des projets plus fructueux, souligne David Curtis. Mais de nombreuses organisations, après avoir constaté l'échec d'une grande majorité de leurs PoC, peuvent aussi décider de stopper toute expérimentation.

« Beaucoup de sociétés dans la finance avec lesquelles je travaille n'ont pas de culture du risque, explique-t-il. Si quelque chose échoue alors qu'elles ont investi des millions de dollars, il est probable qu'elles ne recommenceront pas. » Pour les entreprises ayant une aversion au risque, une bonne planification en amont peut être une meilleure option que de lancer des dizaines de PoC dont la plupart vont échouer rapidement. « Essayez d'éliminer une partie des risques avant de vous lancer, conseille David Curtis. Plutôt que d'avoir 37 PoC, mieux vaut réduire leur nombre à deux ou trois, en optant pour des initiatives significatives pour commencer ».

Commencer par les besoins stratégiques

Daniel Clydesdale-Cotter, d'EchoStor, conseille aux DSI d'examiner attentivement les besoins stratégiques de l'entreprise avant de lancer plusieurs PoC d'IA. Comme Michael Stoyanovich, il suggère aux organisations de se concentrer sur les projets d'IA apportant un avantage concurrentiel plutôt que sur ceux amenant des améliorations incrémentales en matière d'efficacité.

Une entreprise avec laquelle il a travaillé a lancé un projet visant à utiliser un grand modèle de langage (LLM) pour répondre aux demandes de services informatiques internes. Et le PoC a bien permis de réduire les dépenses opérationnelles. « Le client a vraiment apprécié les résultats, explique Daniel Clydesdale-Cotter. Mais l'équation était la suivante : l'entreprise allait devoir dépenser plus d'un million de dollars pour faire fonctionner ce système dans son datacenter, rien qu'avec les nouvelles exigences en matière de matériel et de logiciel. Cette organisation est alors parvenue à la conclusion suivante : pourquoi dépenser un million de dollars alors que nous pourrions embaucher cinq personnes ? ».