Projets

Estée Lauder crée un assistant au maquillage pour malvoyants à base d'IA et de réalité augmentée

Estée Lauder a développé une app d'assistance au maquillage pour les malvoyants. (photo : Estée Lauder)

Le géant des cosmétiques a lancé en janvier 2023 un assistant de maquillage par commande vocale pour personnes malvoyantes. L'app mobile VMA est basée sur de l'IA et de la réalité augmentée.

PublicitéPour aider les personnes malvoyantes à utiliser ses produits en toute autonomie, sans devoir demander de l'aide, les sociétés du groupe Estée Lauder (ELC) ont choisi en 2022 de développer une solution maison à base d'IA et de la réalité augmentée (RA). Le groupe a ainsi lancé en janvier son assistant de maquillage à commande vocale (VMA) au Royaume-Uni et aux États-Unis pour commencer. Le projet a valu à ELC un prix CIO-100 2023 pour son excellence en matière de technologies de l'information.

« Nous avons certes cherché à résoudre un problème commercial important dans le secteur de la beauté, à savoir le manque de solutions accessibles à tous, mais aussi à devenir encore plus inclusifs, précise Michael Smith, Senior vice-président et DSI du groupe ELC. 2,2 milliards de personnes souffrent de déficience visuelle dans le monde. Et uniquement au Royaume-Uni, notre marché pilote, elles sont plus de deux millions. »

Christopher Aidan, vice-président de l'innovation et des technologies émergentes d'ELC, ajoute que les personnes malvoyantes sont souvent contraintes d'en appeler à d'autres pour se maquiller. Pour leur donner davantage d'autonomie, l'entreprise a choisi d'utiliser une de ses plateformes existantes d'application immersive en réalité augmentée ARIA. Celle-ci exploite de la RA, de l'IA dont des algorithmes de Machine Learning pour analyser l'application du maquillage sur un visage. VMA guide ensuite l'utilisateur par à la voix. Dans ce cadre, l'app mobile exploite les préférences configurées par l'utilisateur sur son appareil, mais elle lui propose aussi de personnaliser le type de voix et le débit de parole.

Une IA adaptée à tous les types de visages

Si l'équipe de Christopher Aidan n'a éprouvé que peu de difficultés pour créer l'application proprement dite, il n'en a pas été de même avec les étapes de recherche en amont, qui se sont révélées bien plus difficiles. L'inclusivité étant le moteur principal du projet, il s'agissait de s'adapter à toutes les formes, tailles, nuances et caractéristiques uniques des visages des utilisateurs potentiels. L'équipe devait s'assurer que l'IA s'adapterait à toute la variété des couleurs, des nuances, des traits du visage, des cheveux, etc. Une exigence qui a rendu le processus d'entraînement de l'IA plus complexe que prévu, nécessitant une grande diversité de visages pour le corpus de données de base.

Pour y arriver, le design de la solution prévoyait au départ que l'utilisateur prenne un selfie. L'algorithme analysait ensuite l'image pour évaluer l'uniformité de l'application du maquillage sur le visage avant de proposer des conseils au client en fonction du résultat. Mais il n'a pas fallu longtemps à l'équipe de développement pour finalement préférer exploiter une vidéo en temps réel pour scanner le visage de l'utilisateur. Ainsi, si cette vidéo montre que la personne a appliqué le fond de teint ou le rouge à lèvres de manière irrégulière, l'app décrit directement à la voix les zones spécifiques qui ont besoin d'être retouchées et prodigue des conseils pour corriger le problème. L'utilisateur peut alors procéder à des ajustements et à une nouvelle numérisation vidéo. L'application l'avertit lorsque tout a été correctement appliqué.

PublicitéDes groupes d'utilisateurs témoins

La priorité, cependant, était pour Christopher Aidan et son équipe de s'engager directement auprès de la communauté des malvoyants. « Nous voulions vraiment comprendre quels étaient leurs besoins spécifiques, leurs difficultés et leurs préférences, et ce qu'ils attendaient de nos produits, explique-t-il. Nous avons réuni des groupes de discussion et posé des questions, mais nous avons surtout écouté ces personnes parler de leur expérience personnelle en matière de maquillage et de technologie. »

Certains membres des groupes de discussion étaient complètement aveugles, d'autres avaient des degrés divers de malvoyance et d'autres encore avaient une excellente vision périphérique. Cela a permis de tirer les enseignements d'une variété d'expériences individuelles et de remettre en question certaines hypothèses de départ.

L'importance d'une app conforme aux réglages par l'utilisateur

« Nous pensions que les utilisateurs préféreraient une voix naturelle et plus humaine pour le paramétrage de départ, mais nous avons découvert que c'était la simplicité de la familiarisation avec l'app qui était en fait le facteur le plus important pour eux, explique Christopher Aidan. Ils veulent disposer des fonctions exactes qu'ils ont paramétrées. »

L'équipe du projet VMA s'est aussi associée à divers groupes de défense internes et externes des personnes malvoyantes et à des experts en matière d'accessibilité et d'inclusion. Ils ont combiné leurs points de vue avec les commentaires collectés dans les groupes de travail pour lister les exigences de l'app. L'équipe a aussi fait appel aux utilisateurs pour d'autres caractéristiques, allant du nom de l'application au ton juste de la voix. « Tout au long des phases de conception, d'élaboration et de test, leurs commentaires ont guidé nos décisions, même pour les petites fonctionnalités telles que la possibilité de régler la vitesse d'élocution de l'assistant virtuel », insiste le vice-président de l'innovation et des technologies émergentes.

Un projet toujours en évolution

Depuis son lancement au Royaume-Uni en janvier, l'équipe de développement a continué d'observer les réactions à l'app. Et malgré les nombreux tests réalisés avant le lancement, les utilisateurs ont continué d'identifier de nouveaux problèmes. « Dès les premiers entretiens, nous avons reçu des questions que personne n'avait posées avant le lancement, raconte Christopher Aidan. On nous a par exemple demandé ce qui se passait au moment de retirer un produit. L'app indiquait-elle aussi si la personne avait retiré correctement son maquillage ou pas ? » Michael Smith explique d'ailleurs que le groupe ELC mesure le succès de VMA à l'aune de ces réactions d'utilisateurs, aussi positives que constructives.

« Un d'entre eux s'est demandé comment il avait pu se passer de ce type d'applications jusque-là, raconte le DSI. VMA leur permet de se sentir autonomes et d'essayer de nouveaux produits sans être contraints de demander de l'aide. L'application ne porte pas de jugement, c'est juste de l'honnêteté. » Michael Smith ajoute d'ailleurs que l'app n'intéresse pas uniquement la population des malvoyants. Elle pourrait, par exemple, aider des jeunes qui n'ont pas d'adulte dans leur vie pour les soutenir, ou ne se sentent pas à l'aise pour demander à un adulte de leur apprendre à se maquiller.