J’ai audité 383K $ de dépenses tROAS sur Meta, pays par pays. 7 % étaient en échec sur la métrique exacte que l’algorithme optimise et c’était difficile à détecter.
Quelque part à l’intérieur d’une campagne qui atteignait son objectif tROAS, un pays tournait à 28 % de ROAS All depuis trois mois. Découvrir que l’algorithme se relâchait clairement a été un choc pour moi. L’objectif était de 70 %, aucun dashboard ne l’a signalé, mais nous l’avons trouvé parce que nous sommes allés chercher.
Voici l’histoire de cet audit, et le framework de scoring qui en est ressorti.
Le contexte
Une app subscription sur Meta. Cinq campagnes tROAS réparties par plateforme et tier géographique. Du 1er mars au 29 mai. 383K $ de dépenses sur plus de 200 pays avec de nombreux ad sets.
Un peu de vocabulaire pour qu’on lise les mêmes chiffres de la même façon. tROAS signifie que Meta enchérit vers un objectif de ROAS total. Cet objectif, c’est la mission de l’algorithme. Le ROAS D0 est notre signal précoce : sur cette app, l’essentiel du revenu initial arrive le jour de l’install, donc le D0 indique rapidement si une cohorte a du sens.
Les campagnes étaient jugées comme le sont la plupart des campagnes : le ROAS blended contre l’objectif. Ce chiffre paraissait juste tout le trimestre.
Un seul chiffre blended cache tout
Voici la campagne Tier1 iOS de cette période. D0 blended : 26 %. À l’intérieur :
| Pays | ROAS D0 | ROAS All | Ce qui se passait |
|---|---|---|---|
| France | 49% | 66% | Solide, et en glissement : le ROAS All est passé de 57% à 40% sur le trimestre |
| US | 23% | 62% | Sous l'objectif, et le plus gros dépensier de la campagne avec 49K $ |
| Allemagne | 16% | 31% | Sous l'objectif pendant trois mois d'affilée. Ça ne bouge pas |
Le D0 blended dit 26 %. Les pays à l’intérieur disent autre chose.
Trois situations complètement différentes. Un seul chiffre blended. Et la partie difficile à accepter, c’est que l’algorithme n’a pas semblé s’en soucier.
Pourquoi l’algorithme n’a peut-être pas corrigé ça
Le tROAS opère au niveau campagne. Il voit un ROAS blended unique et ajuste les enchères sur l’ensemble de la campagne. Le ROAS par pays se situe en dehors de sa boucle d’optimisation.
Donc un mauvais pays se cache à l’intérieur d’une campagne qui a l’air saine en blended. Ce pays qui tournait à 28 % de ROAS All pendant que sa campagne affichait 70 % était en échec sur la métrique exacte que l’algorithme devait optimiser. Pas un proxy. La vraie cible. Le D0 l’a signalé tôt, le ROAS All l’a confirmé, et le chiffre au niveau campagne n’a jamais bronché.
Le mécanisme est simple : les bons pays subventionnent les mauvais. Le blend reste médiocre, et médiocre a l’air de business as usual.
Ce n’est pas une question de remettre en question l’algorithme. L’algorithme optimise ce qu’il peut voir, c’est-à-dire un seul chiffre au niveau campagne. La performance par pays était un angle mort par conception, donc quelqu’un doit le couvrir manuellement. Ce quelqu’un, c’est vous. Pour la petite histoire, d’autres découpages possibles comme l’âge ou le genre paraissaient tout à fait normaux et attendus, donc ça nous a pris par surprise.
Le framework : deux métriques, trois couleurs, trois catégories
Voici le système de scoring que nous avons utilisé pour séparer ce qu’on garde de ce qu’on coupe. Il tourne sur un export de breakdown par pays et environ trente minutes par mois.
Étape 1 : noter chaque métrique indépendamment
Chaque pays reçoit deux notes, une pour le ROAS D0 et une pour le ROAS All, chacune notée vert, jaune ou rouge selon des bandes construites à partir de l’objectif de la campagne. Les bandes de cette app venaient de son objectif tROAS à 70 % : le ROAS All vert commence à l’objectif, et les bandes D0 viennent de ce qui, historiquement, correspond à l’atteindre. Reprenez la structure. Les chiffres, vous les dérivez vous-même, à partir de votre propre objectif et de votre propre courbe D0-vers-All.
Le D0 vous donne le signal initial que nous regardons. Le ROAS All vous donne la vérité, c’est-à-dire ce que la campagne optimise. Un pays à 25 % D0 et 80 % All est une bête différente d’un pays à 25 % D0 et 30 % All, et une seule métrique les confondrait.
Étape 2 : combiner en trois catégories
Vert vaut 2, jaune 1, rouge 0. Additionnez les deux métriques.
| Somme des deux scores | Catégorie | Que faire |
|---|---|---|
| 3 ou 4 | Good | Garder, ne pas toucher |
| 2 | Watch | Vérifier chaque mois |
| 1 ou 0 | Exclude | L’algorithme ne va pas le corriger, il ne sait pas que c’est cassé |
Étape 3 : ajouter la dimension temporelle
Les moyennes cachent la direction. Deux pays peuvent porter le même verdict trimestriel et évoluer dans des directions opposées.
PH dans la campagne worldwide a décliné de 33 % à 24 % à 17 % D0, avec un ROAS All à 28 % sur un mois où la campagne atteignait 70 %. GB a chuté à 17 % en avril et est remonté à 29 % en mai, avec un ROAS All qui est resté proche de l’objectif tout du long. Même verdict agrégé. Trajectoires opposées. La vue mensuelle vous dit lequel mérite de la patience.
Étape 4 : agir
Excluez les rouge-rouge qui sont restés rouges pendant trois mois avec une dépense significative derrière eux. Fixez un plancher de dépense avant de juger quoi que ce soit : un pays avec 80 $ derrière lui a un ROAS bruité, pas un verdict. Mettez les jaunes en watch-list et revérifiez chaque mois. Laissez Good tranquille.
Ce que ça a révélé
Rien de tout cela n’est visible au niveau campagne.
46 % de la dépense notée Good. 47 % notée Watch. Et 7 %, soit 27,6K $ sur 17 combinaisons pays-campagne, avaient les deux métriques au rouge pendant trois mois d’affilée. Les trois plus gros : PH dans la campagne worldwide (7,1K $ à 21 % D0), MX sur Android (6,2K $ à 23 %), DE en Tier1 (2,1K $ à 16 %).
Ces 27,6K $ restent garés là où ils sont jusqu’à ce que quelqu’un regarde manuellement. Aucune alerte ne se déclenche. Rien ne passe au rouge dans Ads Manager. La vue campagne disait que tout allait bien pendant que ça se produisait.
Ce qu’il faut retenir
L’algorithme est bon pour trouver des acheteurs. Il n’est pas bon pour abandonner les géos qui ont arrêté de convertir.
Tout le système tient en quatre lignes :
- Deux métriques : le D0 pour la vitesse, le ROAS All pour la vérité.
- Trois couleurs par métrique, notées contre votre propre objectif.
- Trois catégories : garder, vérifier chaque mois, exclure.
- Un rappel calendaire. Mensuel.
Si vous préférez qu’un second regard fasse tourner cet audit sur votre compte, ma boîte mail est ouverte.