Projets

TNS Sofres automatise l'analyse des questions ouvertes

Régis Benichou, Directeur Scientifique de TNS Sofres, a témoigné de son usage de Proxem.

TNS Sofres utilise l'analyse sémantique de Proxem afin d'industrialiser au maximum le traitement des questions ouvertes de ses enquêtes.

PublicitéLe groupe TNS est présent dans 80 pays et, en France, via TNS Sofres. Connu du grand public pour ses sondages politiques, il réalise surtout des études marketing de tous genres : usage et attitude des consommateurs, évaluation d'un produit, réputation/image, etc. « Au contraire d'un recensement exhaustif, une enquête (ou une étude) réalise des mesures en laboratoire par échantillonnage » a précisé Régis Benichou, Directeur Scientifique de TNS Sofres. Questions fermées et questions ouvertes ne s'interprètent pas de la même façon et TNS Sofres a recours, pour ces dernières, à l'analyse sémantique.
Régis Benichou s'est exprimé au cours d'une matinée organisée par l'éditeur Proxem spécialisé dans l'analyse sémantique. Il a pris acte de certaines difficultés inhérentes au métier des études, notamment les biais de représentativité de l'échantillon ou dans le recueil de données. Dans ces dernières, il peut notamment y avoir d'importants biais de compréhension de la question par les répondants à cause de différences de vocabulaire entre lui et les commanditaires de l'étude. Pour Régis Benichou, « les questions fermées génèrent davantage de biais que les questions ouvertes même si celles-ci entraînent des problèmes spécifiques comme des réponses parfois peu exploitables, bruitées et complexes. » Rappelons que les questions fermées permettent juste un choix entre des réponses pré-établies tandis que les questions ouvertes laissent le répondant libre de s'exprimer.

Interpréter les réponses aux questions ouvertes

Mais, de ce fait, l'interprétation d'une réponse à une question ouverte est beaucoup plus complexe que celle à une question fermée. La méthode traditionnelle consiste à réaliser une analyse humaine pour une codification manuelle des réponses. Mais cette méthode est chère. TNS Sofres essaye de la réserver aux cas où il est impossible de faire autrement, notamment quand le sujet est complexe, non-balisé... Une question ouverte peut remplacer de très nombreuses questions fermées.
« La richesse du matériau texte ouvre souvent des analyses d'études non-prévues et une possibilité de tirer bien plus d'enseignements de réponses où l'interviewé s'implique davantage » a relevé Régis Benichou. L'utilisation de l'analyse sémantique permet dans la plupart des cas d'exploiter ce matériau de manière relativement industrielle. Mais Régis Benichou avertit : « il ne faut pas confondre l'analyse sémantique avec le décompte de mots clés opéré avec un simple moteur de recherche. » Il existe de nombreux outils libres pour indexer les mots clés dans un texte et TNS Sofres en utilise parfois. Mais une analyse sémantique vise à comprendre le sens.

Maîtriser le sens

« Si nous avons recours à des partenaires comme Proxem, nous ne maîtrisons plus nos algorithmes de traitements et nous ne l'acceptons que si ça vaut vraiment le coup, que nous avons une vraie confiance et une vraie vision commune » martèle Régis Benichou. Trop souvent, TNS Sofres a été démarché par des prestataires qui n'apportait aucune véritable valeur par rapport à l'indexation classique de mots clés. Dans le cas de Proxem, une même culture de la donnée a facilité le rapprochement. Et la disponibilité de l'outil d'analyse en SaaS a éviter les difficultés techniques.
La première opération d'une analyse sémantique consiste dans le nettoyage des données. Il faut interpréter l'argot, les jargons, les fautes d'orthographes, les néologismes... et l'ironie ! L'ironie peut être estimée par rapport à des éléments de contexte internes à l'expression (par exemple via des expressions intrinsèquement ironiques comme « aimable comme une porte de prison » pour qualifier l'amabilité de vendeurs), entrées manuellement dans le corpus de l'outil par le prestataire, ou externes (par rapport à des textes jugés neutres). Pour Régis Benichou, « l'analyse de flux Twitter est, de ce point de vue, le pire et est ainsi particulièrement compliquée. »

PublicitéPasser du qualitatif au quantitatif

Les réponses à analyser sont d'abord taguées avec des méta-données de contexte (méthode de réponse, âge, lieu, client ou pas...). Et l'analyse sémantique va permettre d'ajouter des méta-données au texte en fonction de l'analyse opérée. A partir de là, il sera possible d'opérer en analyse quantitative à partir des méta-données. « Une des difficultés est alors d'équilibrer le calage par des humains et le machine learning » a relevé Régis Benichou.
Les métadonnées vont ensuite faire l'objet de traitements multi-critères et de rapports décisionnels. Par exemple, la qualification de l'accueil dans les magasins d'une enseigne va pouvoir être donnée par région ou par magasin, éléments qui font partie des métadonnées initiales.
L'un des derniers projets menés par Proxem pour TNS Sofres a concerné une enquête en cinq langues sur des retours clients. Régis Benichou estime que ce n'est pas fondamentalement différent que de nettoyer des textes. Et chaque nouveau projet se construit en tenant compte de l'expérience accumulée sur les projets précédents.