Tous les A/B Tests ne passent pas forcément par Kameleoon et AB Tasty

Dans certains cas de figure, les outils d'A/B Testing ne sont pas les plus adaptés

Publié par Adrien Millet le 18 mai 2020

Les solutions d'A/B Testing classiques (Kameleoon et AB Tasty) sont pertinentes pour réaliser la plupart des A/B Tests sur votre site :

Cependant, dans certains cas l'outil d'A/B Testing ne sera pas approprié et il faudra alors avoir recours à une autre solution.

Test d'une Page d'Acquisition : privilégiez la solution d'Ad Serving

Le plus simple pour mener des A/B Test sur des pages d'acquisition est de passer par la solution d'Ad serving : vous indiquez à votre outil d'Ad serving le segment d'audience que vous souhaitez cibler et les différentes pages vers lesquelles rediriger le trafic (par exemple : la page monsite/landing_page_A et monsite/landing_page_B). L'outil d'adserving dirigera ainsi vos visiteurs au hasard vers l'une ou l'autre de vos pages d'acquisition.

Ce type de test est très simple à paramétrer et est totalement invisible pour vos visiteurs : il n'y a pas d'effet de flickering qui pourrait perturber leur navigation !

Cependant ce type de test a tout de même une limite : vous ne pouvez cibler que les audiences disponibles dans votre outil d'adserving : il n'est ainsi pas possible de cibler les utilisateurs pour lesquels vous disposez d'un cookie ou d'une variable de datalayer spécifique sur votre site. Si vous souhaitez malgré tout effectuer un A/B Test sur ce type de segment spécifique, il vous faudra effectuer un test par redirection via votre outil d'A/B Testing préféré.

Test d'un mail : privilégiez votre solution de routage mailing

Les mailings sont par définition hors du périmètre de votre site et le script de votre solution d'A/B Testing n'y est pas déployé. Si vous souhaitez y effectuer un A/B Test, vous allez donc devoir devoir réaliser 2 versions de votre email. Votre outil de routage mailing vous permettra d'envoyer aisément d'envoyer la version A de votre mailing à 50% de votre audience et le reste recevra la version B.

Test de la bannière de consentement Privacy : directement dans la Consent Management Plateform

La bannière de consentement Privacy est un composant critique de votre site web. Elle s'accompagne de contraintes légales fortes. Si vous souhaitez mettre en place un A/B Test portant sur la bannière de consentement Privacy, vous allez devoir :

  • Afficher la bannière de consentement uniquement aux nouveaux visiteurs de votre site, ou aux utilisateurs connus qui n'ont pas fait de choix au cours de la session précédente, suivant une fréquence d'exposition à valider avec votre service juridique.
  • Historiser le consentement de visiteurs. En cas de contrôle de la CNIL, vous devez ainsi être en mesure de présenter pour chaque visiteur le type de consentement accordé et la bannière qui lui a été présentée. Cela implique que si vous menez un A/B Test sur la bannière de consentement Privacy, vous devrez être capable d'indiquer la version de la bannière (A ou B) à laquelle chaque visiteur a été exposé.

Pour limiter les risques liés à la collecte de données et à l'enregistrement du consentement de l'utilisateur sur le site, je vous conseille de mener cet A/B Test directement dans la solution de Consent Management Plateform. Trust Commanders a ainsi déployé un module permettant d'A/B Tester facilement plusieurs versions d'une privacy (bandeau privacy dans le footer + popin de choix)

Dans tous les cas : bien vérifier le tracking avant de mettre en place l'A/B Test

En préalable à tout lancement d'A/B Test, vous devez vous assurer que le tracking de vos A/B Test est correctement effectué. Vous devez ainsi :

  • Faire remonter vos conversions dans votre solution de routage de mailing et d'Adserving. Vous pourrez ainsi suivre dans vos outils d'adserving/de mailing les performances de votre campagne, de l'impression à la conversion.
  • Etre capable de distinguer les sessions venant de chacune de vos versions testées. Vous pourrez ainsi isoler dans votre outil webanalytics les sessions générées par chacune des versions de votre A/B Test. Si vous utilisez Google Analytics vous pouvez ainsi utiliser un UTM Builder