Ich habe 383K $ Meta-tROAS-Spend Land für Land auditiert. 7% hatten genau die Metrik verfehlt, auf die der Algorithmus optimiert, und es war schwer, das zu entdecken.
Irgendwo innerhalb einer Kampagne, die ihr tROAS-Ziel traf, lief ein Land drei Monate lang bei 28% All ROAS. Herauszufinden, dass der Algorithmus da klar schludert, war für mich ein Schock. Das Ziel war 70%, kein Dashboard hat es markiert, aber wir haben es gefunden, weil wir danach gesucht haben.
Das ist die Geschichte dieses Audits, und das Scoring-Framework, das dabei entstanden ist.
Das Setup
Eine Subscription-App auf Meta. Fünf tROAS-Kampagnen, aufgeteilt nach Plattform und Geo-Tier. 1. März bis 29. Mai. 383K $ Spend über mehr als 200 Länder mit reichlich Anzeigengruppen.
Kurz zum Vokabular, damit wir dieselben Zahlen gleich lesen. tROAS bedeutet, Meta bietet auf ein Gesamt-ROAS-Ziel hin. Dieses Ziel ist die Jobbeschreibung des Algorithmus. D0 ROAS ist unser frühes Signal: In dieser App landet der meiste initiale Umsatz am Install-Tag, D0 sagt Ihnen also schnell, ob eine Kohorte Sinn ergibt.
Die Kampagnen wurden so bewertet, wie die meisten Kampagnen bewertet werden: blended ROAS gegen Ziel. Diese Zahl sah das ganze Quartal über passend aus.
Eine geblendete Zahl verbirgt alles
Hier ist die Tier1-iOS-Kampagne aus diesem Zeitraum. Blended D0: 26%. Darin:
| Land | D0 ROAS | All ROAS | Was passierte |
|---|---|---|---|
| Frankreich | 49% | 66% | Stark, aber rutschend: All ROAS fiel im Quartal von 57% auf 40% |
| USA | 23% | 62% | Unter Ziel, und mit 49K $ der größte Spender in der Kampagne |
| Deutschland | 16% | 31% | Drei Monate in Folge unter Ziel. Kommt nicht vom Fleck |
Blended D0 sagt 26%. Die Länder darin sagen etwas anderes.
Drei völlig unterschiedliche Situationen. Eine geblendete Zahl. Und der Teil, der schwer zu akzeptieren ist: Der Algorithmus schien es nicht zu kümmern.
Warum der Algorithmus das vielleicht nicht behoben hat
tROAS operiert auf Kampagnenebene. Es sieht einen geblendeten ROAS und passt Gebote über die gesamte Kampagne an. ROAS pro Land liegt außerhalb seines Optimierungs-Loops.
Also versteckt sich ein schlechtes Land in einer Kampagne, die geblendet gut aussieht. Dieses Land, das bei 28% All ROAS lief, während seine Kampagne 70% auswies, verfehlte genau die Metrik, auf die der Algorithmus optimieren sollte. Kein Proxy. Das tatsächliche Ziel. D0 hat es früh markiert, All ROAS hat es bestätigt, und die Zahl auf Kampagnenebene hat sich nie gerührt.
Der Mechanismus ist einfach: gute Länder subventionieren schlechte. Der Blend bleibt mittelmäßig, und Mittelmäßig sieht wie business as usual aus.
Es geht nicht darum, den Algorithmus infrage zu stellen. Der Algorithmus optimiert, was er sehen kann, und das ist eine Zahl auf Kampagnenebene. Länder-Performance war konzeptionell ein blinder Fleck, jemand muss ihn also manuell abdecken. Dieser Jemand sind Sie. Zur Klarstellung: Andere mögliche Aufschlüsselungen wie Alter oder Geschlecht sahen sehr normal und erwartbar aus, das hat uns also überrascht.
Das Framework: zwei Metriken, drei Farben, drei Kategorien
Hier ist das Scoring-System, das wir verwendet haben, um Behalten von Streichen zu trennen. Es läuft auf einem Länder-Breakdown-Export und etwa dreißig Minuten im Monat.
Schritt 1: jede Metrik einzeln bewerten
Jedes Land bekommt zwei Noten, eine für D0 ROAS und eine für All ROAS, jeweils grün, gelb oder rot bewertet gegen Bänder, die aus dem Kampagnenziel abgeleitet sind. Die Bänder dieser App kamen aus ihrem 70%-tROAS-Ziel: Grünes All ROAS beginnt beim Ziel, und die D0-Bänder kommen aus dem, was historisch mit dem Erreichen zusammenhängt. Klauen Sie sich die Struktur. Die Zahlen leiten Sie selbst ab, aus Ihrem eigenen Ziel und Ihrer eigenen D0-zu-All-Kurve.
D0 gibt Ihnen das erste Signal, das wir uns ansehen. All ROAS gibt Ihnen die Wahrheit, das, worauf die Kampagne optimiert. Ein Land bei 25% D0 und 80% All ist ein völlig anderes Tier als 25% D0 und 30% All, und eine einzelne Metrik würde beide verschwimmen lassen.
Schritt 2: zu drei Kategorien kombinieren
Grün gibt 2 Punkte, Gelb 1, Rot 0. Beide Metriken addieren.
| Summe beider Scores | Kategorie | Was zu tun ist |
|---|---|---|
| 3 oder 4 | Good | Behalten, nicht anfassen |
| 2 | Watch | Monatlich prüfen |
| 1 oder 0 | Exclude | Der Algorithmus behebt es nicht, er weiß nicht, dass es kaputt ist |
Schritt 3: die Zeitdimension hinzufügen
Durchschnitte verbergen die Richtung. Zwei Länder können dasselbe Quartalsurteil tragen und sich in entgegengesetzte Richtungen bewegen.
PH in der weltweiten Kampagne fiel von 33% über 24% auf 17% D0, mit All ROAS bei 28% in einem Monat, in dem die Kampagne 70% traf. GB fiel im April auf 17% und kam im Mai auf 29% zurück, mit All ROAS, das die ganze Zeit nahe am Ziel lag. Dasselbe aggregierte Urteil. Entgegengesetzte Verläufe. Die monatliche Ansicht sagt Ihnen, welches Geduld verdient.
Schritt 4: danach handeln
Schließen Sie die Rot-Rot-Fälle aus, die drei Monate lang rot blieben und nennenswerten Spend dahinter hatten. Setzen Sie eine Spend-Untergrenze, bevor Sie irgendetwas beurteilen: Ein Land mit 80 $ dahinter hat einen verrauschten ROAS, kein Urteil. Setzen Sie die Gelben auf die Watchlist und prüfen Sie monatlich neu. Lassen Sie Good in Ruhe.
Was dabei zutage kam
Nichts davon ist auf Kampagnenebene sichtbar.
46% des Spends wurden mit Good bewertet. 47% mit Watch. Und 7%, oder 27,6K $ über 17 Land-Kampagnen-Kombinationen, hatten drei Monate in Folge beide Metriken rot. Die größten drei: PH in der weltweiten Kampagne (7,1K $ bei 21% D0), MX auf Android (6,2K $ bei 23%), DE in Tier1 (2,1K $ bei 16%).
Diese 27,6K $ bleiben genau dort geparkt, bis jemand manuell nachsieht. Kein Alarm feuert. Nichts wird rot im Ads Manager. Die Kampagnenansicht sagte die ganze Zeit, alles sei in Ordnung.
Das Fazit
Der Algorithmus ist gut darin, Käufer zu finden. Er ist nicht gut darin, Geos aufzugeben, die aufgehört haben zu konvertieren.
Das ganze System passt in vier Zeilen:
- Zwei Metriken: D0 für Geschwindigkeit, All ROAS für Wahrheit.
- Drei Farben pro Metrik, bewertet gegen Ihr eigenes Ziel.
- Drei Kategorien: behalten, monatlich prüfen, ausschließen.
- Eine Kalendererinnerung. Monatlich.
Wenn Sie lieber ein zweites Augenpaar dieses Audit auf Ihrem Account laufen lassen möchten, mein Posteingang steht offen.