Jukebox: D0 ROAS in acht weken meer dan verdubbeld

Jukebox AI is een AI-songgenerator van TwoWise, met een zescijferig maandelijks advertentiebudget. Het account gaf geld uit aan 50 campagnes. In de eerste week bouwde het team van TwoWise het volgens mijn plan om tot zes en draaide het vanaf dat moment aan de hand van een lijst die ik elke maandag stuurde. In week 4 verlaagde het team het budget, en in week 5 zette het team het jaarabonnement bovenaan de paywall. Na acht weken stond D0 ROAS op de hoofdcampagnes op 2,4 keer het beginniveau.

Jukebox AI app icon
Jukebox AITwoWise · App Store · Google Play

Dit is de case voor een fractional Head of UA naast een team dat zijn eigen campagnes draait, en voor het lezen van de advertentieresultaten van een abonnementapp samen met de paywall. De grafiek toont het getal na elke wijziging.

Het startpunt

In de maand vóór het werk gaf het account geld uit aan 50 verschillende campagnes buiten de creativetests en de webtests, tot 34 in één week, met samen 63 advertentiesets. Bijna allemaal waren het wereldwijde campagnes die geoptimaliseerd waren op het aantal aankopen, met in elk meerdere talen. Zo dun verdeeld haalde geen enkele advertentieset 50 aankoopevents per week, Meta’s eigen telling van aankopen en het getal waar Meta op wacht voordat een advertentieset uit de leerfase komt. Meta stuurde het geld naar de landen waar een aankoop het goedkoopst was. Binnen één van die campagnes leverde het beste kwart van de landen op basis van Meta’s cijfers over 7 dagen meer dan vier keer zoveel op als het slechtste kwart.

D0 ROAS op de hoofdcampagnes was sinds het begin van de zomer met ongeveer 30 procent gedaald, en Meta’s wekelijkse ROAS op aankopen was sinds het voorjaar gehalveerd. Jukebox verkoopt weekabonnementen en jaarabonnementen plus extra credits, dus de opbrengst van een cohort blijft maandenlang groeien na de install, en elk cijfer over dag 0 op deze pagina is een vroege meting.

Hoe we werkten

Het team beheerde het account en het product. Ik werkte vanuit de data van het team in Meta en Adjust en stuurde vanaf week 3 elke maandag een lijst met de ads die gestopt moesten worden en de budgetten die moesten verschuiven, en de maandag erna controleerde ik die tegen wat live was gegaan.

D0 ROAS, stap voor stap

D0 ROAS, hoofdcampagnes, Adjust, als index
Mijn plan, gebouwd door het teamJuli, en de budgetverlaging van het teamDe paywall van het team en mijn wekelijkse lijsten samen
De maand vóór het werk is 100. Elke balk is een periode na één wijziging. De paywall kwam in één week en D0 ROAS bleef de twee weken daarna stijgen. Bijna de helft van de stijging na de paywall zijn jaarabonnementen die het hele jaar op dag één betalen.
D0 ROAS op de hoofdcampagnes in Adjust, als index met de maand vóór het werk op 100
PeriodeIndexWijziging ervoor
De maand ervoor, index 100100Vóór het werk
Na de herbouw, weken 2 en 3124Mijn plan, gebouwd door het team
Na de budgetverlaging, week 4121De eigen wijziging van het team
Paywall, eerste twee weken, weken 5 en 6224De paywall van het team en mijn wekelijkse lijsten
De twee weken erna, weken 7 en 8258De wekelijkse lijsten, paywall ongewijzigd

De cijfers

Over twee perioden van vier weken, de tweede beginnend aan het eind van de eerste maand, meldde Meta 51 procent meer aankoopwaarde bij 13 procent minder spend. De ROAS op aankopen steeg met 73 procent, op iOS met 65 procent en op Android met 83 procent. Het aantal aankoopevents bleef ongeveer gelijk, dus de winst kwam uit wat elke aankoop waard was.

ROAS, de tweede vier weken ten opzichte van de eerste
Alle campagnes Meta+73%
+73%Alle campagnes, Meta, de tweede vier weken ten opzichte van de eerste
iOS Meta+65%
+65%iOS, Meta, de tweede vier weken ten opzichte van de eerste
Android Meta+83%
+83%Android, Meta, de tweede vier weken ten opzichte van de eerste
Dag 0, hoofdcampagnes Adjust+83%
+83%Dag 0, hoofdcampagnes, Adjust, de tweede vier weken ten opzichte van de eerste
De cijfers van Meta bij 13 procent minder spend over dezelfde twee perioden. Het citaat van de klant hieronder geeft de niveaus achter de lijnen van Meta en Adjust.
De tweede vier weken ten opzichte van de eerste
Meta ROAS op aankopen, alle campagnes+73%
iOS+65%
Android+83%
D0 ROAS, hoofdcampagnes, Adjust+83%

Stap 1: van 50 campagnes naar zes

In de eerste week bouwde het team zes campagnes volgens mijn plan. iOS en Android liepen gescheiden, elk opgesplitst in de VS, markten in tier 1 en de rest van de wereld, met de talen daarbinnen gegroepeerd. Alle zes boden op aankoopwaarde, gingen de volgende dag live en namen bijna alle spend over. Tegen week 2 bood geen enkele hoofdcampagne meer op het aantal aankopen. In 13 gematchte vergelijkingen uit de geschiedenis van het account, dezelfde markt en hetzelfde platform met ander bidding, won value bidding tegen week 4 elke keer van bidding op het aantal aankopen.

De advertentiesets gingen mee omlaag met de campagnes, van 63 naar 11 tegen week 4, en een typische ging van ongeveer 10 aankoopevents per week naar 60 of meer, zodat Meta in elk genoeg had om van te leren.

De kosten per install verdrievoudigden ongeveer, omdat de goedkope installs uit landen kwamen die zelden betaalden. D0 ROAS steeg met ongeveer een kwart voordat er verder iets in het account veranderde, en de twee campagnes die we lieten zoals ze waren daalden in dezelfde weken.

Advertentiesets met spend, buiten de creativetests en de webtests
Een week in de maand ervoor
34 campagnes, 63 advertentiesets

Geen enkele haalde 50 aankoopevents in de week.

Week 4
6 campagnes, 11 advertentiesets
iOS VS
iOS Tier 1
iOS Rest van de wereld
Android VS
Android Tier 1
Android Rest van de wereld

8 haalden 50 aankoopevents in de week en droegen ongeveer 90% van de spend.

50 of meer aankoopevents in de weekMinder dan 50
Advertentiesets met spend buiten de creativetests en de webtests
WeekCampagnesAdvertentiesetsAdvertentiesets met 50 of meer aankoopevents
De maand ervoor34630
Week 46118, met ongeveer 90% van de spend

Stap 2: de budgetverlaging

In week 4 verlaagde het team de budgetten van vijf campagnes. Ik verdeelde de verlaging campagne voor campagne op basis van de cohortdata, en D0 ROAS hield stand. De volgende dag gingen zes ads eruit, die in elke volledige week op Meta en op dag 0 en dag 7 in Adjust achterbleven bij de rest van hun advertentieset. Drie van de zes waren dezelfde creative in drie advertentiesets. Op dit account nam Meta dat geld niet uit zichzelf terug. Vijf van de zeven grootste verliezers van de eerste maand kregen de week erna nog minstens de helft van hun spend, dus de stops zette ik met de hand op de maandaglijst.

Stap 3: de paywall, en vier weken maandaglijsten

In week 5 zette het team het jaarabonnement vooraan op de paywall. Wie een jaarabonnement neemt, betaalt het hele jaar op de eerste dag, dus een deel van wat volgde is timing, bijna de helft van de stijging in D0 ROAS op de cohortcurve hieronder.

De paywall was een van de vier dingen die in die weken samenkwamen. De herbouwde campagnes rondden hun leerfase af op value bidding, met 8 van de 11 advertentiesets boven de 50 aankoopevents per week tegen week 4. Verliezende ads gingen er elke maandag uit. Budget verschoof op basis van de opbrengst na 14 dagen, afgezet tegen de lijn voor payback binnen 90 dagen, altijd in één stap. En nieuwe concepten gingen door het filter voordat ze een hoofdcampagne raakten. D0 ROAS stond op 2,2 keer het beginniveau in de eerste twee weken na de paywall en op 2,6 keer in de twee weken daarna, en Meta’s wekelijkse ROAS op aankopen klom drie weken achter elkaar. De paywall veranderde één keer, in één week, en de opbrengst bleef er drie weken na stijgen, en daar waren de lijsten voor.

De opbrengst blijft maandenlang groeien

Een cohort blijft betalen lang na de install. Bij de cohorten van het voorjaar vóór het werk was de opbrengst na 7 dagen ongeveer twee keer dag 0, na 28 dagen 2,7 keer en na 16 weken 4,3 keer, nog stijgend op het moment dat de data ophouden. De paywall met het jaarabonnement vooraan veranderde de vorm. Een groter deel van het geld van een cohort komt nu op dag één binnen, dus de cohorten erna stonden na 14 dagen op 1,5 keer dag 0, tegen 2,0 ervoor, en beide lijnen staan in de grafiek.

Opbrengst per cohort naar dagen sinds de install, hoofdcampagnes, Adjust
De eerste 28 dagen, vóór en na de paywall met het jaarabonnement vooraan, als veelvoud van de beginwaarde op dag 0
Cohorten na de paywall, weken 5 tot 7Cohorten ervoor, weken 2 tot 4
De eerste 16 weken, cohorten van het voorjaar, als veelvoud van hun eigen dag 0
Gewogen naar kosten, elk punt op cohorten die oud genoeg zijn om het te hebben bereikt. De paywall trekt het geld van een cohort naar voren, dus de curve erna begint hoger en stijgt minder.
Opbrengst per cohort naar dagen sinds de install, cohorten van het voorjaar als veelvoud van hun eigen dag 0, de andere twee als veelvoud van de beginwaarde op dag 0
DagenCohorten van het voorjaarCohorten vóór de paywallCohorten na de paywall
01,0x1,2x2,3x
11,1x1,4x2,5x
31,3x1,5x2,6x
71,9x2,2x3,3x
142,2x2,5x3,5x
282,7x3,2x
563,4x
843,8x
1124,3x

Nieuwe creative ging door een filter

Tussen april en begin september gaven 58 conceptcodes geld uit op het account, en 15 daarvan bereikten de hoofdcampagnes zonder test. Nieuwe ads gingen rechtstreeks in de hoofdadvertentiesets en namen budget af van de ads die daar al werkten.

Vanaf week 5 ging elk nieuw concept door een goedkope installtest en daarna een aankooptest. Vanaf week 6 kregen de concepten die slaagden een eigen advertentieset binnen elke hoofdcampagne voordat ze zich bij de bewezen ads voegden. Nieuwe ads die de hoofdsets bereikten daalden van tientallen per week naar een handvol. Vertalingen hadden een eigen regel nodig. Ongeveer twee derde van de vertaalde versies die in de eerste maand waren gestart, draaide nauwelijks, en het Engelse resultaat van een ad zei niets over hoe de vertalingen het zouden doen, dus vroeg ik het team een ad pas te vertalen nadat die zich had bewezen.

Hoe een nieuw concept de hoofdcampagnes bereikte
  1. InstalltestEén advertentieset per concept, in een goedkope markt
  2. AankooptestBeoordeeld op kopers
  3. Eigen advertentiesetBinnen elke hoofdcampagne, vanaf week 6
  4. HoofdadvertentiesetsNaast de bewezen ads
Nieuwe ads in de hoofdsets, de drie maanden vóór het filter13 tot 71 per week
Vanaf week 50 tot 5 per week

Twee goede weken voordat een concept opschaalt

De drempel om te slagen kwam uit de eigen geschiedenis van het account. Ongeveer drie van de vier ads die de andere ads in één week met meer dan 20 procent versloegen, bleven hen over hun hele looptijd voor. Van de ads die dat in twee aparte weken deden, bleef 91 procent voor. De eerste fase van dit soort test staat uitgeschreven op deze site.

Ads die de andere ads met meer dan 20% versloegen en over hun looptijd voorbleven
In één week76%
76%van 137 ads die het één keer deden
In twee aparte weken91%
91%van 57 ads die het twee keer deden
Uit de eigen geschiedenis van het account, april tot begin september. Een week telde mee wanneer de ad genoeg spend had om te kunnen worden beoordeeld.

Wat de cijfers omvatten

Meta’s aankoopevent telt op dit account ook verlengingen, dus de ROAS ervan is het best te lezen als Meta’s eigen cijfer. Beide perioden vallen binnen het werk, en de lagere spend was de beslissing van het team. De stijging vanaf week 5 viel in dezelfde weken als de paywall van het team, de campagnes die hun leerfase afrondden en de wekelijkse lijsten, en geen enkele test op het account kan die drie van elkaar scheiden.

Wat het zegt

Het team voerde elke wijziging in het account door, op basis van een lijst die ik elke week schreef uit de data van Meta, Adjust en de paywall. Die verdeling past bij een team dat al mensen in het advertentieaccount heeft en iemand nodig heeft die de knopen doorhakt.

In de woorden van de klant

We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.

In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.

He is someone I trust. He has always been the first person we call.

İbrahim Güneş · Cofounder, TwoWise (Jukebox AI)

Vragen die mensen stellen

Hoeveel van het resultaat bij Jukebox kwam van de campagnes?

De herbouw tilde D0 ROAS met ongeveer een kwart omhoog voordat er verder iets veranderde, en dat bleef overeind door de budgetverlaging van het team. De stijging naar 2,4 keer het beginniveau viel in de vier weken waarin de paywall van het team met het jaarabonnement vooraan, de herbouwde campagnes die hun leerfase op value bidding afrondden en de wekelijkse lijsten allemaal samenkwamen. Bijna de helft van de stijging in D0 ROAS zijn jaarabonnementen die vooraf betalen, en de opbrengst bleef drie weken na de wijziging van de paywall stijgen, dus de lijsten deden een deel van het werk. Niemand kan het precies uit elkaar halen.

Waarom zijn de campagnes van Jukebox teruggebracht van 50 naar zes?

Meta leert binnen elke advertentieset en wacht op ongeveer 50 aankoopevents per week voordat die klaar is met leren. Verspreid over 63 advertentiesets kwam er geen enkele aan. Tegen week 4 lukte dat 8 van de 11 advertentiesets, en die droegen ongeveer 90 procent van de spend.

Heeft u de campagnes van Jukebox zelf gerund?

Het team bouwde en draaide elke campagne. Ik schreef het plan en stuurde elke maandag de lijst met wijzigingen.

Waarom stegen de kosten per install bij Jukebox?

De goedkope installs kwamen uit landen die zelden betaalden. Bieden op aankoopwaarde kocht voor hetzelfde geld ongeveer een derde van het aantal installs, en meer daarvan betaalden.