Bot, Chatbot, agent conversationnel : autant de termes pour qualifier l’outil star du moment que de nombreuses marques s’arrachent. Présenté sous différentes formes : personnage animé, zone de dialogue, … cet outil de Gestion Relation Client d’un autre genre, pourtant pas si nouveau que cela, colonise les réseaux sociaux et autres sites web de la toile.

Leur rôle : analyser, interpréter les intentions contenues dans une phrase en langage naturel, pour produire une réponse pertinente.

Classifiés sous le terme nébuleux d’intelligence artificielle, certains de ces Chatbots ne sont pourtant pas si intelligents que cela. 70 % des requêtes soumises aux Chatbots sur l’application Facebook Messenger restent sans réponse. Ce chiffre, tiré d’un article des Échos, témoigne véritablement de la difficulté de ces robots dits “intelligents” à satisfaire les utilisateurs.

Tester un tel outil est par conséquent décisif : pour son bon fonctionnement et son utilité d’une part, pour assurer stratégiquement une relation pérenne avec ses utilisateurs et sa clientèle d’autre part. Nombreux sont ainsi les développeurs pour qui le test utilisateur est un prérequis avant lancement de son Bot. Non pour relever haut la main le test de Turing, mais plutôt dans l’optique d’identifier les “pain points” (les “irritants”) du tunnel de conversion.

Retour sur une expérimentation de Chatbot, déployée pour EDF

La communauté EDF Pulse & You (c’est à dire les participants inscrits à la plateforme de co-création développée par FANVOICE pour le compte d’EDF) a été invitée en avant première à tester le nouvel agent conversationnel de l’énergéticien : Maître B. Doté d’une fonctionnalité qui lui permet d’apprendre continuellement, ce Chatbot a ainsi pu évoluer à travers les différentes questions qui lui ont été posées.

Un protocole qui repose sur la personnalisation

Tester un Bot pour y recueillir des insights concrets et d’éventuels écueils décorrélés de tous bais méthodologiques requiert  un certain degré de personnalisation pour l’utilisateur. Les testeurs doivent effectivement s’inscrire dans une situation la plus proche possible du réel, favorisant ainsi le retour d’expérience.

Recrutés en amont de ce test, les participants ont ainsi reçu une convention à signer. Le but d’un tel document : donner l’autorisation de connecter leurs propres données personnelles (contrat, factures, …) au test de ce Bot. Autant d‘éléments réels stimulant et favorisant ainsi l’appropriation et l’usage de l’outil en phase de test.

Une mesure à chaud

Pour ce faire, l’expérimentation a été développée autour d’une approche PING-PONG.

Invités dans un premier temps à se connecter à la campagne hébergée par la plateforme de co-innovation EDF Pulse & You, les participants ont ainsi rapidement pu basculer sur Messenger (d’un simple clic sur l’URL indiquée) afin d’expérimenter le Bot.

Deux fenêtres, pour deux usages :

• la page campagne permettant de recueillir les différents retours d’expérience notamment à travers le sondage et la rubrique permettant d’y poster spontanément ses idées ;
• la page Messenger afin de naviguer et expérimenter le Bot.

Un jongle d’écrans qui relève de la mesure à chaud, favorisant toute l’objectivité des retours d’expérience recueillis.

Un retour d’expérience au service de l’amélioration instantanée

Le déclaratif (réponses au sondage, idées postées en spontanée), conjugué à la mesure passive (enregistrement de la data relative à la navigation sur le Bot) ont permis de nourrir d’un point de vue très opérationnel les équipes EDF en charge de ce projet de co-innovation.

Des feedbacks enregistrés, assimilés en live, qui ont permis à EDF d’améliorer son outil en temps réel.

Une expérimentation qualitative à grande échelle

L’Expérience Utilisateur (UX) est un terrain sur lequel, tant les études qualitatives que quantitatives ont leur place – deux méthodologies pour des insights aux approches différentes.

FANVOICE souhaite ainsi depuis sa création, il y a près de trois ans maintenant, dépasser les clivages quali/quanti. La solution FANVOICE permet d’asseoir une vraie technicité et savoir propre aux études qualitatives, retransplantés à l’échelle quantitative. Ce sont ainsi près de 400 idées qui ont émergé à l’issue de ce retour de cette expérimentation. Autant d’idées passées au peigne fin du Text Mining et des deux qualitativistes FANVOICE spécialisées en études qualitatives, quantitatives et autres modèles hybrides.