Jukebox AI er en AI-sanggenerator fra TwoWise med et månedligt annoncebudget på seks cifre. Kontoen fordelte sit spend på 50 kampagner. I den første uge byggede deres team den om til seks, efter min plan, og drev den derefter videre ud fra en liste, jeg sendte hver mandag. I uge 4 skar de budgettet ned, og i uge 5 satte de årsabonnementet forrest på paywallen. Efter otte uger lå D0 ROAS på hovedkampagnerne på 2,4 gange udgangspunktet.

Dette er casen for en fractional Head of UA ved siden af et team, der selv kører sine kampagner, og for at læse annonceresultaterne for en abonnementsapp sammen med dens paywall. Grafen viser tallet efter hver ændring.
Udgangspunktet
I måneden før arbejdet havde kontoen spend på 50 forskellige kampagner uden for testene af creative og web, op til 34 i en enkelt uge med 63 annoncesæt imellem sig. Næsten alle var globale kampagner optimeret til antal køb, med flere sprog i hver. Spredt så tyndt nåede ikke ét eneste annoncesæt 50 købsevents om ugen, som er Metas egen optælling af køb og det tal, Meta leder efter, før et annoncesæt forlader læringsfasen, og Meta sendte pengene til de lande, hvor et køb var billigst. Inde i én af de kampagner gav den bedste fjerdedel af landene mere end fire gange så meget igen som den dårligste fjerdedel, målt på Metas tal for 7 dage.
D0 ROAS på hovedkampagnerne var faldet med omkring 30 procent siden sommerens begyndelse, og Metas ugentlige ROAS på køb var halveret siden foråret. Jukebox sælger ugentlige og årlige abonnementer plus ekstra credits, så en kohortes afkast bliver ved med at vokse i månedsvis efter installationen, og alle tal for dag 0 på denne side er tidlige aflæsninger.
Sådan arbejdede vi
Deres team drev kontoen og produktet. Jeg arbejdede ud fra deres data fra Meta og Adjust og sendte fra uge 3 hver mandag en liste med de annoncer, der skulle stoppes, og de budgetter, der skulle flyttes, og mandagen efter tjekkede jeg den mod det, der var gået live.
D0 ROAS, trin for trin
| Periode | Indeks | Ændring forud |
|---|---|---|
| Måneden før, indeks 100 | 100 | Før arbejdet |
| Efter ombygningen, uge 2 og 3 | 124 | Min plan, bygget af deres team |
| Efter budgetnedskæringen, uge 4 | 121 | Teamets egen ændring |
| Paywall, første to uger, uge 5 og 6 | 224 | Teamets paywall og mine ugentlige lister |
| De to uger efter, uge 7 og 8 | 258 | De ugentlige lister, paywall uændret |
Tallene
I to vinduer på fire uger, hvor det andet starter ved udgangen af den første måned, rapporterede Meta 51 procent mere købsværdi på 13 procent mindre spend. ROAS på køb steg 73 procent, på iOS 65 procent og på Android 83 procent. Antallet af købsevents holdt sig nogenlunde uændret, så gevinsten kom fra, hvad hvert køb var værd.
| Anden periode på fire uger mod den første | |
|---|---|
| Metas ROAS på køb, alle kampagner | +73% |
| iOS | +65% |
| Android | +83% |
| D0 ROAS, hovedkampagner, Adjust | +83% |
Trin 1: fra 50 kampagner til seks
I den første uge byggede deres team seks kampagner efter min plan. iOS og Android kørte hver for sig, og hver af dem var delt op i USA, markeder i tier 1 og resten af verden, med sprogene samlet indeni. Alle seks bød på købsværdi, gik live dagen efter og tog næsten hele spendet. I uge 2 bød ingen hovedkampagne længere på antal køb. I 13 sammenlignelige par fra kontoens historik, med samme marked og samme platform og forskellig budgivning, slog det at byde på købsværdi det at byde på antal køb senest i uge 4, hver eneste gang.
Annoncesættene blev færre sammen med kampagnerne, fra 63 til 11 senest i uge 4, og et typisk annoncesæt gik fra omkring 10 købsevents om ugen til 60 eller flere, så Meta havde nok i hvert af dem at lære af.
CPI steg til omkring det tredobbelte, fordi de billige installationer kom fra lande, der sjældent betalte. D0 ROAS steg med omkring en fjerdedel, før noget andet på kontoen blev ændret, og de to kampagner, vi lod stå, som de var, faldt i de samme uger.
Ingen nåede 50 købsevents i ugen.
8 nåede 50 købsevents i ugen og bar omkring 90% af spendet.
| Uge | Kampagner | Annoncesæt | Annoncesæt med 50 eller flere købsevents |
|---|---|---|---|
| Måneden før | 34 | 63 | 0 |
| Uge 4 | 6 | 11 | 8, med omkring 90% af spendet |
Trin 2: budgetnedskæringen
I uge 4 skar teamet budgetterne ned på fem kampagner. Jeg placerede nedskæringen kampagne for kampagne ud fra kohortedata, og D0 ROAS holdt. Dagen efter blev seks annoncer stoppet, hver af dem bagud i forhold til resten af sit annoncesæt i hver eneste hele uge på Meta og på dag 0 og dag 7 i Adjust. Tre af de seks var det samme creative i tre annoncesæt. På denne konto tog Meta ikke selv pengene tilbage. Fem af de syv største tabere i den første måned fik stadig mindst halvdelen af deres spend ugen efter, så stoppene kom manuelt på mandagslisten.
Trin 3: paywallen og fire ugers mandagslister
I uge 5 flyttede deres team årsabonnementet forrest på paywallen. En årskøber betaler for hele året den første dag, så en del af det, der fulgte, er timing, tæt på halvdelen af stigningen på dag 0 på kohortekurven nedenfor.
Paywallen var én af fire ting, der landede i de uger. De ombyggede kampagner blev færdige med at lære, mens de bød på købsværdi, med 8 af de 11 annoncesæt over 50 købsevents om ugen senest i uge 4. Annoncer, der tabte, blev taget ud hver mandag. Budgettet blev flyttet ud fra afkastet efter 14 dage målt mod grænsen for payback inden for 90 dage, altid i ét trin. Og nye koncepter gik gennem porten, før de rørte en hovedkampagne. D0 ROAS lå på 2,2 gange startniveauet i de første to uger efter paywallen og på 2,6 gange i de to uger derefter, og Metas ugentlige ROAS på køb steg tre uger i træk. Paywallen blev ændret én gang, i én uge, og afkastet blev ved med at stige i tre uger efter, og det er det, listerne var til for.
Afkastet vokser i månedsvis
En kohorte bliver ved med at betale længe efter installationen. På kohorterne fra foråret før arbejdet lå afkastet efter 7 dage på cirka det dobbelte af dag 0, efter 28 dage på 2,7 gange og efter 16 uger på 4,3 gange, og det steg stadig, da data sluttede. Paywallen med årsabonnementet forrest ændrede formen. Mere af en kohortes penge kommer nu ind den første dag, så kohorterne efter den lå på 1,5 gange dag 0 efter 14 dage mod 2,0 før, og begge linjer er i grafen.
| Dage | Forårets kohorter | Kohorter før paywallen | Kohorter efter paywallen |
|---|---|---|---|
| 0 | 1,0x | 1,2x | 2,3x |
| 1 | 1,1x | 1,4x | 2,5x |
| 3 | 1,3x | 1,5x | 2,6x |
| 7 | 1,9x | 2,2x | 3,3x |
| 14 | 2,2x | 2,5x | 3,5x |
| 28 | 2,7x | 3,2x | |
| 56 | 3,4x | ||
| 84 | 3,8x | ||
| 112 | 4,3x |
Nyt creative gik gennem en port
Mellem april og begyndelsen af september brugte 58 konceptkoder penge på kontoen, og 15 af dem nåede hovedkampagnerne uden en test. Nye annoncer gik direkte ind i hovedkampagnernes annoncesæt og tog budget fra de annoncer, der allerede virkede dér.
Fra uge 5 gik hvert nyt koncept først gennem en billig installationstest og derefter en købstest. Fra uge 6 fik de, der bestod, et eget annoncesæt i hver hovedkampagne, før de kom ind sammen med de gennemprøvede annoncer. Nye annoncer, der nåede hovedkampagnernes annoncesæt, faldt fra dusinvis om ugen til en håndfuld. Oversættelser havde brug for en regel for sig. Omkring to tredjedele af de oversatte versioner, der blev sat i gang i den første måned, kørte næsten ikke, og en annonces engelske resultat sagde intet om, hvordan dens oversættelser ville klare sig, så jeg bad teamet oversætte en annonce først, når den havde bevist sit værd.
- InstallationstestÉt annoncesæt per koncept, på et billigt marked
- KøbstestVurderet på købere
- Eget annoncesætI hver hovedkampagne, fra uge 6
- HovedannoncesætVed siden af de gennemprøvede annoncer
To gode uger, før et koncept skaleres
Grænsen for at bestå kom fra kontoens egen historik. Omkring tre ud af fire annoncer, der slog de øvrige annoncer med mere end 20 procent i én uge, blev foran dem i hele deres levetid. Blandt annoncer, der gjorde det i to adskilte uger, blev 91 procent foran. Den første fase af en test af den slags er skrevet ud her på siden.
Hvad tallene omfatter
Metas købsevent på denne konto tæller også fornyelser med, så dets ROAS læses bedst som Metas egen score. Begge vinduer ligger i perioden med arbejdet, og det lavere spend var teamets beslutning. Stigningen fra uge 5 kom i de samme uger som deres paywall, kampagnernes afslutning af læringsfasen og de ugentlige lister, og ingen test på kontoen kan skille de tre ad.
Hvad det siger
Deres team lavede hver eneste ændring på kontoen, ud fra en liste, jeg skrev hver uge på baggrund af data fra Meta, Adjust og paywallen. Den arbejdsdeling passer til et team, der allerede har folk i annoncekontoen og har brug for en, der træffer beslutningerne.
I kundens egne ord
We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.
In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.
He is someone I trust. He has always been the first person we call.
Spørgsmål folk stiller
Hvor meget af resultatet hos Jukebox kom fra kampagnerne?
Ombygningen løftede D0 ROAS med omkring en fjerdedel, før noget andet blev ændret, og det holdt gennem teamets budgetnedskæring. Stigningen til 2,4 gange startniveauet kom i de fire uger, hvor teamets paywall med årsabonnementet forrest, de ombyggede kampagners afslutning af læringsfasen og de ugentlige lister alle landede sammen. Tæt på halvdelen af stigningen på dag 0 er årsabonnementer, der betaler forud, og afkastet blev ved med at stige i tre uger, efter paywallen var ændret, så listerne gjorde en del af arbejdet. Ingen kan skille det helt præcist ad.
Hvorfor skære Jukebox ned fra 50 kampagner til seks?
Meta lærer inde i hvert annoncesæt og leder efter omkring 50 købsevents om ugen, før annoncesættet forlader læringsfasen. Fordelt på 63 annoncesæt nåede ikke ét derhen. Senest i uge 4 gjorde 8 af de 11 annoncesæt det, og de bar omkring 90 procent af spendet.
Kørte du selv kampagnerne for Jukebox?
Deres team byggede og kørte hver eneste kampagne. Jeg skrev planen og sendte listen med ændringer hver mandag.
Hvorfor steg CPI hos Jukebox?
De billige installationer kom fra lande, der sjældent betalte. Bud på købsværdi købte omkring en tredjedel så mange installationer for de samme penge, og flere af dem betalte.