En cette période où les indicateurs de consommation sont en déclin, la protection de votre trésorerie est plus prioritaire que jamais. Nous partageons donc ici avec vous une approche incontournable pour maximiser l'impact et la rentabilité de vos actions marketing : l'AB testing.

Cet article pourrait sembler complexe avec ses concepts mathématiques et ses termes spécialisés, mais nous vous invitons à le parcourir attentivement.

Les dépenses media sans discernement appartiennent désormais au passé, et les ROAS ne sont plus ce qu'ils étaient. Afin de garantir une croissance rentable, il est impératif de contrôler minutieusement vos investissements publicitaires.

Un essai randomisé (méthode générale dont fait partie l’AB testing) est un type d'étude scientifique utilisé dans de nombreux domaines, notamment en médecine où ils sont considérés comme faisant partie des gold standards pour prouver les effets de différentes approches thérapeutiques (médicaments, chirurgie...).

Comprendre les étapes, de la randomisation à la validation statistique, vous permettra d'intégrer cet outil puissant dans votre stratégie marketing.

Cependant, il est essentiel de souligner que la validation statistique est une affaire d'expert. Elle implique la compréhension approfondie de notions complexes et abstraites (ex: loi binomiale, p-value…) pour évaluer la significativité des résultats de l'AB testing.

Pour optimiser une campagne publicitaire sur Facebook, vous cherchez à évaluer la différence de performance entre deux créations (créa A et créa B). Supposons que vous répartissiez aléatoirement une population A (non exposée à la créa) et une population B (exposée), et que vous parveniez à garantir l’absence de biais ainsi que de migration entre ces deux populations (ces conditions essentielles pour certifier les résultats étant déjà bien challenge à garantir) :

En effet, sans validation statistique, l’analyse de la situation peut être trompeuse. Car la différence de ventes (+20) ne peut pas être interprétée comme un chiffre absolu, mais plutôt comme une loi statistique. Chaque jour où vous réalisez le calcul du cumul de l’incrémental, le résultat vient dessiner cette courbe:

Il s’agit d’une gaussienne.

Et plus vous réaliserez ce calcul, plus le chiffre tendra vers le sommet de cette gaussienne (loi des grands nombres) et s'insérera dans un intervalle de confiance, indiquant la variabilité potentielle des résultats.

Un spécialiste en statistiques devrait à ce stade intervenir pour effectuer des calculs complexes et déterminer si la différence de ventes entre A et B est statistiquement significative ou simplement due au hasard.

En se conformant à de multiples règles statistiques il pourrait conclure : “la créa B a 95% de chance de réaliser entre +5 et +25 ventes, mais le plus probable c’est +12”.

Ou bien, même si vous avez constaté un écart de +20 à un instant T, qui reste une valeur probable, conclure que le résultat se situe “entre -10 et +30 ventes”... Donc la différence peut être “-10” (donc en faveur de A).

Je vous laisse imaginer les conséquences si vous aviez choisi la créa B.

Autre exemple (réel)…

Imaginons un e-commerçant qui, suite à un AB test en septembre 2022, découvre un ROAS de 1.2 pour META. En se basant uniquement sur cette information, il augmente s ses investissements. Cependant, en négligeant une surveillance continue par AB testing, il se retrouve avec des résultats bien en deçà des prévisions six mois plus tard.

La décision d’augmenter ses investissements META était basée sur la règle de trois comparant le ROAS de l'AB test (1.2) avec le ROAS annoncé par META (1.8), et en comptant sur la réalité des variations (tendances) du ROAS affiché par META pour ajuster sa règle de 3.

En réalité, la confiance dans les chiffres annoncés par META s'est avérée être une source d'erreur, avant tout en supposant que les tendances affichées par META étaient justes. Car META durant toute cette période n’a jamais montré que de faibles variations des tendances du ROAS (+/-10%)…

Alors qu’un nouvel AB test a prouvé, six mois plus tard, que son ROAS était tombé à 0.8 (-35% !)

L'évaluation précise de vos indicateurs clés, tels que le ROAS ou le LTV, revêt une importance cruciale. Les décisions qui en découlent, qu'il s'agisse d'ajuster les budgets ou de prioriser un projet, ont un impact immédiat. En ces temps critiques, il faut éviter les sanctions découlant de choix basés sur des analyses erronées ou sur des intuitions.

Ensuite, même si ces chiffres sont valides à un moment donné, ils évoluent dans le temps. Ne pas les suivre sur le long terme revient à prendre des décisions sur des bases fausses, compromettant ainsi la stabilité de votre croissance.