Tribunes

Faites du prompt-engineering si vous voulez, mais surtout, vectorisez !

« Pour une entreprise, le plus efficace consiste à passer par une étape de vectorisation, c’est-à-dire de mise à disposition de ses contenus, afin qu’un LLM soit capable de générer une réponse reposant sur ceux-ci. » (Photo : D.R.)

Un bon prompt engineering est utile, mais ce qui apportera véritablement la valeur de l'IA générative en entreprise, c'est la capacité de dialoguer avec le patrimoine informationnel.

PublicitéAgacé par un résultat non pertinent de votre IA générative préférée, vous avez déjà tenté de changer des éléments de votre prompt ? Si oui, alors comme M. Jourdain qui pratiquait la prose naturellement, vous avez eu recours au prompt engineering.

Le résultat fut-il meilleur ? Probablement, mais certainement toujours loin de vos attentes initiales. Vous avez ainsi touché du doigt les limites de "l'ingénierie de la requête". Inconnue il y a un an, cette compétence fait désormais l'objet de fiches métier, présentant ce job comme indispensable pour tirer parti de l'IA générative. Mais croire qu'il suffirait de donner accès à un LLM de type GPT-4 ou PaLM2 et d'instaurer une étape de prompt engineering pour satisfaire ses utilisateurs exposerait à de grandes déconvenues.

Le vrai sujet : offrir un dialogue avec le SI en langage naturel

Le prompt engineering est utile, mais ce qui donnera véritablement de la valeur à vos applications d'IA générative en entreprise, c'est la capacité offerte aux collaborateurs d'accéder au patrimoine informationnel à travers un dialogue en langage naturel. D'obtenir des réponses pertinentes pour leur domaine d'activité, pour leur métier. Le niveau d'optimisation de la requête sera un plus, qui pourra s'affiner au fil du temps.

Un LLM entraîné sur des tonnes de données sera parfait pour des tâches génériques, pour assurer de la traduction multilingue par exemple, mais le résultat ne sera pas à la hauteur d'utilisateurs attendant des réponses précises sur certains sujets. D'où l'émergence de LLM plus spécialisés pour certaines tâches ou certains domaines, comme la génération de langage SQL. De même que la capacité de "fine-tuner" des modèles sur étagère.

Rendre les documents et données accessibles aux IA génératives

Le plus efficace sera de passer par une étape de vectorisation, c'est-à-dire de mise à disposition de ses contenus d'entreprise pour qu'un LLM soit capable de générer une réponse reposant sur ces contenus. Typiquement, vous disposez de dizaines de documents techniques, des PDF de plusieurs dizaines de pages, et vous souhaitez permettre à vos collaborateurs d'interroger cette base de connaissance en langage naturel comme s'ils discutaient avec un documentaliste. Il faut alors passer par une phase dite d'embedding : la création de vecteurs représentant leur contenu, que les moteurs d'IA générative sont capables d'interpréter.

Cette vectorisation du contenu de l'entreprise est aussi réalisable pour les données structurées : chiffres de vente, nombre d'employés, indicateurs RSE, etc. C'est là où la promesse de l'IA générative en entreprise devient exceptionnelle. C'est là également que le prompt engineering prend tout son sens : selon l'habileté qu'on aura à formuler des prompts pour dialoguer avec le SI, les résultats pourront être très différents. D'où l'importance de coupler ces nouvelles interfaces de chat avec des bibliothèques de prompt : des questions peaufinées, dont on sait qu'elles généreront des résultats pertinents.

PublicitéLe prompt engineering : une compétence transitoire

Quant au métier de prompt engineer, son avenir est loin d'être tout tracé. Certains prédisent déjà son remplacement par des IA capables de personnaliser les prompts beaucoup plus rapidement et efficacement. Une automatisation qui aura ses limites, puisqu'il faudra bien qu'un humain décrive ce qui sera pertinent pour lui - en toute subjectivité et de manière imparfaite. Il est probable en tout cas qu'il s'agisse plus d'une compétence que d'un métier. Une compétence intégrée, par exemple, à un Center For Excellence, le temps d'acculturer les collaborateurs à l'usage de ces nouveaux outils. Une compétence qui disparaîtra avec le temps, chacun apprenant à apprivoiser ces outils de la même manière que nous nous sommes habitués à la calculatrice ou aux suites bureautiques.

Ce qui restera, sera la capacité de dialoguer directement avec le système d'information. Et c'est là, la vraie richesse.

Article rédigé par

Olivier Rafal, Consulting Director Strategy de WEnvision
Olivier Rafal est Consulting Director Strategy de WEnvision, cabinet de conseil du groupe SFEIR. Consultant, auteur, conférencier, formateur, Olivier Rafal a rejoint SFEIR en 2020 et cofondé WEnvision en janvier 2022.

Ancien rédacteur en chef de lemondeinformatique.fr, Olivier Rafal a ensuite passé 10 ans dans un cabinet de conseil et d'analyse du marché IT. Il accompagne aujourd'hui les entreprises tout au long de leur démarche de stratégie numérique et de modernisation des SI, toujours dans l'optique de la création de valeur.

Olivier est ainsi l'interlocuteur privilégié des CIO et CTO pour co-construire et formaliser leurs feuilles de route, cadres de gouvernance et grands principes directeurs, ainsi que les documents et business cases requis pour expliquer la démarche aux Comex et fonds d'investissement.