Comparatif : Analyse sémantique manuelle ou automatique ?

January 20, 2021

Lorsque l’on réalise des enquêtes ou que l’on souhaite analyser en profondeur les commentaires de ses clients, il est très compliqué de savoir comment s’y prendre.

En effet, dès lors que l’on traite des réponses ouvertes ou des verbatim de sites d’avis, la tâche est bien plus ardue que de faire une moyenne avec les réponses fermées.

Pourtant il s’agit bien là de la source d’information la plus riche sur vos clients. Ce serait dommage de s’en passer n’est-ce pas ?

C’est pourquoi nous allons passer en revue dans cet article les deux méthodes principales utilisées pour réaliser une analyse sémantique de vos verbatim clients : l’analyse manuelle et l’analyse automatique.

1/ L’analyse manuelle de verbatim client

Elle est traditionnellement réalisée avec la technique de post-codification. Cette méthode consiste à définir des thèmes de réponses puis à leur attribuer un chiffre. Ainsi, cela permet de traiter les réponses ouvertes dans les enquêtes avec un niveau de précision approchant le traitement des questions fermées.

Pour réaliser cette analyse, vous pouvez utiliser un logiciel de tableur comme Excel ou équivalent. Ensuite, il faut que vous définissiez les thèmes correspondants à votre enquête. Vous pouvez également définir des sous-thèmes pour gagner en précision dans vos résultats.

Une fois cette étape terminée, sélectionnez l’ensemble des réponses à votre questionnaire (ou un échantillon représentatif), puis notez le chiffre du thème ou sous-thème correspondant à côté de chaque réponse.

Pour mieux comprendre, nous allons voir plus en détail comment réaliser cette analyse avec un exemple concret.

a) Définir les thèmes de l’enquête

L’analyse manuelle de verbatim peut s’appliquer à tout type de verbatim, que ce soit issu d’une enquête mais également aux avis sur les plateformes en ligne (TripAdvisor, TrustPilot, Google Reviews, AvisVérifié, Critizr, etc.).

Dans le cadre de cette analyse, prenons l’exemple d’une enquête dans le secteur bancaire avec une question ouverte du type “Êtes-vous satisfait de votre agence bancaire ?”

En découvrant les réponses au questionnaire, définissez les thèmes qui en ressortent et qui vous semblent les plus pertinents.

Par exemple :

Personnel

1.1 Accueil du personnel

1.2 Capacité d’écoute

1.3 Expertise & Compétences

1.4 Disponibilité

Agence

2.1 Horaires d’ouverture

2.2 Accès à l’agence

2.3 Proximité géographique

2.4 Atmosphère

2.5 Distributeurs automatiques

Parcours client

3.1 Prise de RDV

3.2 Accompagnement

3.3 Résiliation

Produit

4.1 Comptes Courants

4.2 CB/CR

4.3 Tarifs

Le plan de codification doit cependant être figé au moment de la codification. Par souci de comparabilité, on hésitera à le faire évoluer trop souvent. Tout ajout d’un thème en cours d’analyse pourrait nécessiter une nouvelle analyse de l’ensemble des données déjà classées ainsi que des données historiques. Contrairement à un outil de classification automatique, le plan des thématiques est donc assez peu évolutif.

De manière ponctuelle et si la comparabilité avec vos autres enquêtes ou sources d’avis clients n’est pas utile, nous vous conseillons d’ajouter des sujets d’actualité dans vos thèmes.

En plus de l’analyse des thèmes évoqués, vous pourrez également classer les commentaires par sentiment (positif, négatif, neutre) ou émotion primaire. Afin de réaliser une analyse croisée, il est donc nécessaire de rendre les thèmes neutres et sans valence.

Ainsi: La thématique Personnel > Disponibilité doit à la fois regrouper les moments de disponibilité comme les moments d’indisponibilité du personnel. C’est la dimension sentiment/ émotion qui viendra ajouter le niveau de satisfaction ou d’émotion du propos.

Pour organiser son temps: Prévoir entre 1 journée et 3 jours pour établir un plan de codification utilisable sur la ou les enquêtes à venir.

b) Réaliser la codification

Maintenant que nos thèmes et sous-thèmes sont définis, les choses sérieuses commencent ! Il faut maintenant attribuer le chiffre correspondant à chacune des réponses à l’enquête. Pour mieux visualiser la tâche, voici un exemple avec 10 commentaires clients :

Capture d’écran 2021-01-20 à 17.25.01.png

Pour résumer, l’analyse sémantique manuelle de verbatim avec codification permet d’obtenir des résultats poussés et précis. En revanche, la préparation et l’analyse sont très chronophages car il faut passer en revue l’ensemble des verbatim. Pour limiter le temps de codification, on peut se baser sur un extrait aléatoire (ex: chaque réponse toutes les 10 réponses est codifiée) mais dès lors l’analyse n’est plus exhaustive et les problèmes de représentativité statistique peuvent se poser.

Il faut également noter que plus les verbatim sont longs, plus la classification est fastidieuse.

D’autre part, si les verbatim sont multilingues, il faudra s’assurer que l’analyste maîtrisera l’ensemble des subtilités des différentes langues d’expression afin de procéder à la bonne consolidation des résultats par pays ou par langue.

Par conséquent, en fonction du volume de l’enquête (ou autres sources d’avis), de la longueur des commentaires, il n’est pas conseillé d’utiliser cette méthode coûteuse en temps et en ressources et plutôt opter pour l’analyse automatisée.

D’autre part, les efforts réalisés ne sont pas capitalisés pour de prochaines études ou données. Toute nouvelle analyse nécessitera de repartir de zéro.

De plus, bien que les résultats soient précis, il peut y avoir un biais humain dans les réponses liées au manque d’objectivité en fonction de chaque analyste. Pour des mêmes données, les résultats peuvent, en effet, varier d’une personne à l’autre en fonction de la perception et de l’expérience personnelle de la personne qui aura codé l’enquête ou l’analyse. Ce biais peut poser un problème particulièrement important si des partis-pris ou la culture d’entreprise ne poussent pas spontanément à l’écoute du client.

Pour finir, ces analyses manuelles sont difficilement comparables entre elles.

Pour organiser son temps: Prévoir entre 2 à 3 minutes par verbatim à classer, soit environ 1 semaine pour 1000 verbatim courts et 1 semaine 3 jours pour 1000 verbatim longs (supérieur à 144 caractères). Ce temps s’ajoute au temps dédié à la conception du plan de codification.

Notre recommandation : Utiliser l’analyse de commentaires client par codification manuelle peut avoir du bon pour bien prendre connaissance des propos des clients et connaître leur avis, mais cela est toujours très chronophage. Si votre enquête ou votre source d’avis a un nombre de commentaires conséquent et que vous souhaitez être exhaustif, vous vous retrouverez vite débordés. Cette analyse convient donc particulièrement pour les petits volumes de données.

Comme brièvement expliqué précédemment, il existe une autre méthode bien plus rapide et optimisée pour analyser les commentaires de vos clients: l’analyse automatisée des verbatim.

2/ L’analyse automatique de verbatim

A contrario de l’analyse manuelle, un outil sémantique est capable d’analyser un grand nombre de verbatim en un rien de temps et d’identifier les sujets et thématiques qui en ressortent.

Il faut comprendre que dans la grande majorité des projets, les temps de configuration sont négligeables et que cette approche vous permet d’aller plus directement à l’analyse et à la recherche d’insights. D’autre part, en plus de l’analyse automatisée elle-même, la solution vous met à disposition des outils de visualisation qui vous permettent d’aller directement naviguer dans les données et découvrir facilement les axes d’analyse pertinents sur votre enquête. En choisissant les grilles d’analyse de votre secteur proposées par la solution, vous gagnez du temps de configuration et vous pouvez même bénéficier d’une vision de benchmarking sectoriel.

Dans cet article, nous allons vous présenter plus en détail comment utiliser un outil simple à prendre en main comme CXinsights.io, qui peut vous aider à accélérer votre analyse de commentaires clients… et vous permettre de trouver des insights rapidement et sans effort.

Tout d’abord, il faut savoir que l’algorithme de la solution CXinsights.io est capable d’identifier les sujets abordés et d’y associer une émotion ressentie (parmi les 6 émotions primaires : joie, surprise, peur, tristesse, colère, surprise) afin de vous révéler de nouveaux insights d’un simple coup d'oeil.

Capture d’écran 2021-01-20 à 17.37.45.png

Si les verbatim sont multilingues, la classification permettra de procéder au traitement de chaque verbatim de manière transparente pour facilement donner des résultats par pays ou par langue.

La taille des commentaires impacte de manière marginale les temps de traitement des outils de classification automatique.

Pour commencer votre analyse, il vous suffit d’importer votre fichier de data sur la plateforme SaaS. Vous pouvez également importer des verbatim directement depuis Google Reviews, Trustpilot, Tripadvisor et autres plateformes d’avis si besoin.

Capture d’écran 2021-01-20 à 17.37.52.png

Il ne vous reste qu’à attendre quelques instants que l’algorithme traite automatiquement vos données et vous donne les premiers résultats.

Sur la plateforme d’analyse automatique CXinsights.io, vous pouvez choisir une thématique correspondant à votre secteur d’activité ou encore personnaliser tout votre projet en fonction de thèmes et sous-thèmes personnalisés qui vous semblent plus pertinents. Cette configuration prend seulement quelques minutes. Une personnalisation des thèmes, du parcours etc. est également possible sur demande (paramétrage sur mesure nécessitant quelques heures de travail additionnel).

A noter: contrairement à l’analyse manuelle, tout effort de personnalisation réalisé à la configuration du projet est capitalisable pour l’ensemble des données.

Par exemple, si vous créez une nouvelle thématique même 2 mois après le premier traitement, vous pouvez mettre à jour en quelques minutes l’ensemble des données sans effort.

Pour organiser son temps: Une fois le fichier soumis, prévoir un temps de processing de 2 à 3 minutes par lot de 5000 verbatim à classer, soit environ 20 minutes pour 50.000 verbatim. L’outil va ensuite automatiquement placer tous les verbatim dans les thèmes correspondants et vous pouvez immédiatement accéder à la navigation dans les données.

Vous pourrez comparer en un coup d’oeil le nombre de commentaires par thématique ainsi que l’émotion principale qui en ressort (l’E-index dans le screenshot ci-dessous correspond à une température variant de -20°C à +40°C définie par l’émotion principale détectée dans le discours, plus la température est élevée plus l’émotion est positive).

Capture d’écran 2021-01-20 à 17.40.00.png

Le monitoring est bien plus facilement réalisable qu’avec une analyse manuelle, l’outil vous offre un suivi de l’évolution des émotions dans les verbatim clients ainsi que de l’E-Index.

Capture d’écran 2021-01-20 à 17.40.53.png

Dans le screenshot ci-dessus par exemple, on s’aperçoit qu’il y a eu une chute de joie et une hausse de la tristesse au même moment à partir du mois de septembre 2018. Il est donc important de prendre connaissance principalement des sujets évoqués sur cette période pour comprendre d'où vient ce changement.

Pour se faire, on choisit la période correspondante sur la plateforme qui va ensuite identifier automatiquement les 3 points de succès et les 3 points d’amélioration majoritairement cités dans les commentaires.

Capture d’écran 2021-01-20 à 17.42.33.png

Dans cet exemple, on s’aperçoit qu’il y a 3 risques majoritaires qui correspondent à cette chute de la joie et hausse de la tristesse : le risque d’attrition, de contentieux et un risque de bad buzz. En cliquant sur le bouton “Va faire du buzz”, on se rend vite compte qu’une publicité mal réalisée est à l’origine de ce problème et qu’il est mentionné dans les commentaires des clients. On peut par la suite prioriser les actions à mettre en place pour résoudre le problème.

Capture d’écran 2021-01-20 à 17.44.23.png

Vous l’aurez compris, l’analyse sémantique automatique est incontournable lorsque vous menez des enquêtes de grande envergure ou que vous recevez de nombreux commentaires chaque mois sur les plateformes d’avis ou les réseaux sociaux.

Un outil comme Q°emotion (éditeur de la plateforme CXinsights.io) vous permettra de gagner un temps précieux et d’identifier très rapidement les sujets mentionnés par vos clients ainsi que les émotions qu’ils ressentent.

Nous n’avons pu que passer en revue quelques-unes des fonctionnalités de notre plateforme SaaS, si vous souhaitez en savoir plus, vous pouvez tester gratuitement notre solution en cliquant ici, ou découvrir nos cas clients en cliquant ici.

Capture d’écran 2021-01-20 à 17.25.18.png

Partager cet article

Articles similaires

Comment cette banque anglaise compare les avis clients de l’ensemble de son réseau d’agence ?

February 17, 2021

Le secteur bancaire est probablement le domaine dans lequel l’expérience client a un rôle primordial à jouer. En effet, avec l’émergence des banques en ligne, le consommateur a de plus en plus besoin ...

Notre Top 5 des sources d’avis clients à analyser !

December 02, 2020

Les commentaires de vos clients sont une source sûre et très complète afin d’enrichir vos connaissances sur eux. \nL’analyse de ces commentaires\n vous permettra d’en apprendre plus sur vos clients et...

Q°emotion, un outil pour...

Traiter une grande
quantité de données.

Etude & Datas

Q°emotion, un outil pour...

Améliorer
l’expérience client.

Marketing & Expérience client

Envie de tester notre outil ?

Demandez un
test de notre outil !

phone