Optimiser la performance business de votre siteavec l'A/B Testing
Gilles LaborderieDirecteur Technique Web & MobileTwitter : @g_laborderie
Twenga
La plateforme de shopping ouverte qui offre le plus grand choix du web.
Plus de 450 millions d’offres venant de plus de 230 000 boutiques en ligne.
Déployé dans 15 pays : France, Royaume-Uni, Espagne, Italie, Allemagne, Pays-Bas, Belgique, Suisse, Pologne, Brésil, Russie, Etats-Unis, Australie, Chine et Japon
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
Qu’est-ce-que l’A/B Testing ?
Une technique marketing pour tester et optimiser la performance d’une proposition commerciale.
Initialement utilisé pour les campagnes marketing par courrier
Aujourd’hui, utilisé par les acteurs du Web pour optimiser la performance des bannières publicitaires, des campagnes d’e-mailing et des sites Web.
Autres techniques similaires : Test A/B/N Test multivarié
4 clics
2 clics
A/B Testing en image
Version A
4%
8%
Convers
ion
A B100 visiteurs
50 visiteurs
Version B
50 visiteurs
Pourquoi tester ?
Parce que l’on améliore que ce que l’on mesure
Parce qu’il n’existe pas de recommandations universelles
Parce que c’est moins cher que d’acheter plus de trafic
Parce qu’ils le font ! Amazon, Google, Microsoft, etc.
Que peut-on tester ?
Bannière publicitaire
Email (titre – message)
Landing page
Pages Web
Un exemple de test A/B sur une landing page
Version de contrôle Variation
Copyright Abtests.com
+60%
Un exemple de test A/B/C sur une page d’accueil
Copyright Anne Holland Ventures, Inc. http://whichtestwon.com/
Versionde contrôle
Version A Version B
+67,8% +23%
Un exemple de test A/B sur un élément de design
Version de contrôle
Variation
Copyright Wingify
+28%
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
Bénéfices de l’A/B testing
Expérience en conditions réelles
Technique peu onéreuse
Peut détecter de petites variations de performance
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
Processus d’A/B Testing
Définition de l’expérience
Implémentation
Expérience
Analyse
1. Définition de l’expérience
Définir l’indicateur / métrique à optimiser et le champs de contraintes
Définir la(les) version(s) Forme : mise en page, couleurs, positions, etc. Contenu : titres, textes, images, formulaires, etc. Concept : tarification, promotions, etc.
Définir les paramètres de l’expérience Segmentation des utilisateurs Répartition du trafic entre les différentes versions Durée (utiliser un outil pour calculer la durée)
2. Implémentation
Développement des versions
Création et configuration du test
Déploiement des versions Recetter toutes les versions comme une version de production !
Frameworks PHP phpA/B phpScenario
Outils commerciaux Google Website Optimizer Visual Web Optimizer Optimizely Omniture's Test & Target Webtrends Optimize Etc.
2. Implémentation – les frameworks
Configuration du test Déclaratif dans le code PHP / fichiers de configuration OU Stocké en BD / Cache
Implémentation des versions
<?php
if (MyFramework::IsControl('my_test')) { // control version} else { // alternate version}
?>
2. Implémentation – Les solutions commerciales
Internaute
GET /
MyShop.com
GET /2345/test.js
EasyTesting.com
Chef de produitMyShop.com
1. Configure un test A/B
2. Insère le script JS
3. Expérience
Mise en ligne de l’expérience
Expérience Utiliser un outil statistique pour définir la durée de l’expérience
Mise hors ligne à la fin de l’expérience Automatiquement ou manuellement
Source
4. Analyse
Compilation des résultats Récupération des métriques
- Métrique à optimiser ET champs de contrainte Agrégation des métriques
Analyse des résultats Analyse, mise en forme, etc. Analyse de la fiabilité des résultats
Conclusion de l’expérience Synthèse de l’expérience et des résultats Recommandation
Source
4. Analyse – Un peu de statistiques
Il est nécessaire de calculer la fiabilité statistique des résultats observés avant de conclure
Test Khi21. Calculer la valeur Khi2
2. La valeur Khi2 donne le niveau de confiance que les résultats soient significatifs
La test Khi2 dépend en particulier du nombre d’observations Plus le site a de trafic, moins longtemps il faudra pour conclure sur la fiabilité
des observations
Confiance 95% 99% 99,9%
Khi2 > 3,8 6,6 10,8
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
A/B Testing chez Twenga
Un test à la fois
Généralement sur un pays
Optimisation d’indicateur business sous contraintes de KPI Pages vues par visite Taux de rebond Taux de conversion Revenu par visite Temps passé sur le site
Utilisation d’un framework PHP maison Essentiellement pour des raisons de performance
Framework d’A/B Testing (1/2)
Créer unnouveau test
Test en cours
Historiquedes tests
Framework d’A/B Testing (2/2)
Versionset répartition
Identifiantdu test
Versionpar défaut
Premier exemple : bannière animée vs. Image fixe (1/2)
Objectif du test : déterminer quel format génère le plus de clics
Version A
Version B
Premier exemple : bannière animée vs. Image fixe (2/2)
Tableau récapitulatif des Pages vues / Clics
Significativité
Le résultat est hautement significatif avec 99% de confiance.
Conclusion La version PNG performe plus que la version FLASH
Pages vues Clics Taux de clics
FLASH 3 361 008 1 014 0,030%
PNG 3 370 304 2 870 0,085%
Test du Khi²
Khi² de notre série (FLASH vs. PNG) 881,28
Khi² à dépasser avec 99,9% de confiance 10,83
Deuxième exemple : filtre de prix (1/2)
Objectif du test : déterminer comment les internautes préfèrent filtrer par prix
Version A Tranches de prix pré-déterminés
Version B Slider de prix
Deuxième exemple : filtre de prix (2/2)
Le taux d'utilisation du filtre PRIX est impacté par la forme de ce filtre. La version A (tranches de prix) a un taux d'utilisation 1,33 x plus important que
la version B (slider de prix). Cette différence est hautement significative.
0.0%
0.5%
1.0%
1.5%
2.0%
2.5%
Taux d'utilisation du filtre
Price Range Price Slider
A/B Testing chez Twenga
Ces résultats sont contextuels et ne sont pas généralisable
Nous complétons les tests A/B par des tests utilisateurs Permet de tester des prototypes (voire des prototypes papier) Permet d’avoir une approche plus orientée utilisateur
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
Comprendre les limites de l’A/B Testing
Nécessite de développer, recetter et déployer toutes les versions
N’évalue que les versions testées
Ne favorise pas la compréhension profonde du comportement des utilisateurs
Ne fonctionne que pour ce qui est mesurable par une session HTTP
Orienté court-terme
Peut conduire à un maximum local
Agenda
Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
Bien se lancer
Commencer par : Les pages les plus visitées Les pages avec le plus grand taux de rebond Les tunnels business
- Inscription- Achat
A ne pas faire
Tester les versions séquentiellement
Faire plusieurs tests à la fois Perturber vos utilisateurs
A faire
Vérifier la fiabilité de vos tests Montrer la même variation aux
utilisateurs Vérifier la cohérence générale Partager les résultats en interne
Ressources utiles
ABtests.com Which Test Won? Free A/B Split Testing Tools
Q&ATwenga recrute !
http://recrute.twenga.fr/