D/ POUR ALLER PLUS LOIN

Transcription

1 D/ POUR ALLER PLUS LOIN Maintenant que le processus de mise en place de l analytics dans vos projets n a plus de secret pour vous, nous allons effectuer un point d ouverture pour aller plus loin dans votre démarche d optimisation de votre projet d application / site web/ mobile grâce aux outils/concepts quanti et quali Pour tester et optimiser (quantitatif) : Tests A/B Analyse ad hoc Pour tester et optimiser (qualitatif) : Tests utilisateurs Questionnaire 57/69

2 POUR TESTER ET OPTIMISER (QUANTI) Test A/B 1) Présentation de l A/B test Un A/B test permet de comparer simultanément les performances de différents scénarios. En théorie, on expose 2 scénarios : (en réalité il est possible de réaliser n scénarios) La première moitié du public à un scénario A La deuxième moitié à un scénario B. On compare les taux de conversion dans chaque scénario. Lorsque l échantillon est significativement grand et qu une tendance claire est perceptible, l A/B test prend fin et le meilleur scénario est retenu. 2) Présentation de l A/B test Dans un A/B Test classique : À l affichage de la page, un script renvoie chaque utilisateur vers le scénario A ou le scénario B avec une probabilité p = 0,50. Une fois le script réalisé, un tag d événement est envoyé. Ce tag nous informe du scénario exposé à l utilisateur et nous permet donc de discriminer les sessions dans l outil d analyse. Enfin, un cookie est émis afin que l utilisateur soit toujours exposé au même scénario. 58/69

3 3) Comment estimer que la mesure est significative? Un échantillon représentatif en Analytics est un échantillon de taille significative par rapport au trafic habituel du site. L échantillon doit également révéler un écart de performance entre les deux versions. L A/B Test est prolongé si ce n est pas le cas. Analyse Ad hoc A côté du tableau de bord que vous avez réalisez pour suivre au global l activité de votre site/ application vous allez vouloir aller plus loin dans la mesure d impact sur des évènements occasionnels (l impact d une campagne de communication, la mise en place d un ab test par exemple.) généralement sur un temps à définir. C est ce que l on appelle l étude ad hoc. POUR TESTER ET OPTIMISER (QUALI) Les tableaux de bord analytics et les études ad hoc sont d excellents moyens pour monitorer l activité de votre application et de votre site web. Toutefois pour vérifier certaines hypothèses, par exemple trouver la raison pour laquelle les personnes butent à une certaines étapes et ne continuent pas le parcours, il faudra aller plus loin dans le diagnostic de la situation vous posant problème. Pour cela il existe d autres moyens pour obtenir de la donnée «qualitative», plus riche en termes d enseignement, via les questionnaires/sondages et tests utilisateurs. En d autres termes les données analytics (quanti) vont vous alerter ou conforter sur l atteinte de vos objectifs. En revanche ces données ne pourront pas toujours vous donner de réponse claire sur le «pourquoi». L étude quali menée via des questionnaires saura vous aider à répondre à vos interrogations. Questionnaires Menées sur un grand nombre de personnes, les questionnaires ou sondages sont composés de questions fermées (permettant d obtenir des réponses préétablies), ou ouvertes (champs de saisie libre) bénéficiant de la fiabilité et de l objectivité du nombre statistique. (On juge ainsi plus facilement la représentativité des retours.). Cela permet de vérifier des hypothèses et comprendre les comportements de navigation. 59/69

4 Le type d information issue de questionnaires qualitatifs est à «cheval» entre des enseignements quantitatif et qualitatif : en effet, on obtient des informations riches et de façon volumique. Ces études peuvent être réalisées sous différents formats (phoning, courrier, web). Nous allons nous intéresser uniquement aux avantages et inconvénient de la mise en place des questionnaires on line : Avantages : Coût bas (automatisation) Très grande rapidité de collecte Très grande facilité de traitement (information numérisée) Adapté aux questionnaires à «tiroirs» (si réponse X aller à la partie Y) et quand l ordre des réponses est important Possibilité de soumettre des images, sons, vidéos Le répondant peut répondre quand il a du temps libre Inconvénients : Risque de confusion entre une étude en ligne et un spam Plus grande facilité qu en face-à-face d interrompre l étude La rigidité des règles préétablies de déroulement du questionnaire et le manque d assistance individuelle nécessitent un questionnaire bien conçu Problème de représentativité de l échantillon pour certaines études L'étude qualitative est utilisée dans une optique d'exploration : recueillir des informations au sujet d'un domaine précis, des tendances... L'étude quantitative quant à elle, a pour objectif de mesurer précisément des besoins, motivations... Les réponses sont de l ordre du «déclaratif» ce qui peut biaiser les conclusions du questionnaire. A l issue de ce genre d enquête vous disposerez principalement de statistiques et de verbatims* permettant déjà de répondre à la majeure partie de vos interrogations. Seulement parfois, les retours obtenus dans ce genre d étude «lancent des perches» vers des études plus abouties pour vraiment comprendre les problèmes qui peuvent se poser : 60/69

5 Par exemple, si un utilisateur déclare : «J ai du mal à utiliser l application. Je ne trouve pas ce que je cherche tout de suite et en plus ça bug souvent» Est-ce un problème de charte graphique rendant certains éléments peu visible? Un problème d ergonomie? L utilisateur parle de bug : qu entends-t-il par-là? Une anomalie liée à l application? Peut-être a-t-il lui-même des réflexes sur l ancienne version de son application et qu un temps d apprentissage est juste nécessaire Quelques outils de sondage en ligne : Test utilisateurs Les tests utilisateurs sont le meilleur moyen de confronter la conception des interfaces avec la réalité d usage de votre site/appli par vos utilisateurs. Menés sur un petit nombre de personnes, ils mettent en évidence les nuances et la diversité, privilégiant le détail. Généralement les tests utilisateurs se font avec petit groupe de personne (5 à 10 personnes), se voulant représentatif en termes de profil d utilisateur de votre application/site. Avec 8/10 personnes, il est convenu que l on peut déceler 80% des points critiques. Les tests utilisateurs peuvent être aussi menés en amont des questionnaires. Par exemple dans le cas d'une étude de satisfaction, les tests utilisateurs ont pour but d'établir une liste de domaines possibles qui ont une influence sur la satisfaction client. Les questionnaires seront le baromètre devant recueillir l'évaluation des clients pour chaque domaine. En conclusion, ces deux approches ne sont pas à opposer. Elles possèdent chacune leurs propres apports. Les deux ensembles forment un puissant levier pour comprendre le fonctionnement de votre application ou site web. Il est tout de même à noter qu en matière de coût et de temps, les tests utilisateurs seront 61/69

6 plus coûteux et demandent à se réserver beaucoup de temps pour l entretien et l observation avec la personne puis la retranscription des remarques orales en enseignement exploitables. E/ ANNEXES WEBOGRAPHIE /69