Jukebox : ROAS J0 plus que doublé en huit semaines

Jukebox AI est un générateur de chansons par IA de TwoWise, avec un budget publicitaire mensuel à six chiffres. Le compte dépensait sur 50 campagnes. Pendant la première semaine, leur équipe l'a reconstruit en six campagnes, selon mon plan, puis l'a géré à partir d'une liste que je lui envoyais chaque lundi. À la semaine 4, elle a réduit le budget, et à la semaine 5, elle a placé l'abonnement annuel en tête du paywall. Après huit semaines, le ROAS J0 des campagnes principales valait 2,4 fois son niveau de départ.

Jukebox AI app icon
Jukebox AITwoWise · App Store · Google Play

C'est l'étude de cas d'un fractional Head of UA aux côtés d'une équipe qui gère elle-même ses campagnes, et de la lecture des résultats publicitaires d'une app d'abonnement avec son paywall. Le graphique montre le chiffre après chaque changement.

Le point de départ

Le mois précédant le travail, le compte a dépensé sur 50 campagnes différentes en dehors de ses tests créatifs et web, jusqu'à 34 en une seule semaine, avec 63 ad sets à elles toutes. Presque toutes étaient des campagnes mondiales optimisées sur le nombre d'achats, avec plusieurs langues dans chacune. Avec une dépense aussi dispersée, aucun ad set n'atteignait 50 événements d'achat par semaine. C'est le décompte d'achats propre à Meta, et le seuil qu'il attend avant qu'un ad set sorte de la phase d'apprentissage. Meta envoyait l'argent vers les pays où un achat coûtait le moins cher. Dans l'une de ces campagnes, le meilleur quart des pays rapportait plus de quatre fois ce que rapportait le pire quart, selon les chiffres à J7 de Meta.

Le ROAS J0 des campagnes principales avait baissé d'environ 30 pour cent depuis le début de l'été, et le ROAS d'achat hebdomadaire de Meta avait été divisé par deux depuis le printemps. Jukebox vend des abonnements hebdomadaires et annuels ainsi que des crédits supplémentaires, donc le retour d'une cohorte continue de croître pendant des mois après l'install, et chaque chiffre J0 de cette page est une lecture précoce.

Comment nous avons travaillé

Leur équipe gérait le compte et le produit. Je travaillais à partir de leurs données Meta et Adjust et, à partir de la semaine 3, j'envoyais chaque lundi une liste des annonces à arrêter et des budgets à déplacer. Le lundi suivant, je la comparais avec ce qui avait été mis en ligne.

ROAS J0, étape par étape

ROAS J0, campagnes principales, Adjust, en indice
Mon plan, construit par leur équipeJuillet, et la baisse de budget de l'équipeLe paywall de l'équipe et mes listes hebdomadaires ensemble
Le mois précédant le travail vaut 100. Chaque barre est une période après un changement. Le paywall est arrivé en une semaine et le J0 a continué de monter pendant les deux semaines suivantes. Près de la moitié de la hausse après le paywall vient des abonnements annuels payés pour l'année dès le premier jour.
ROAS J0 des campagnes principales dans Adjust, en indice, le mois précédant le travail valant 100
PériodeIndiceChangement précédent
Le mois précédent, indice 100100Avant le travail
Après la refonte, semaines 2 et 3124Mon plan, construit par leur équipe
Après la baisse de budget, semaine 4121Le changement de l'équipe
Paywall, deux semaines, semaines 5 et 6224Le paywall de l'équipe et mes listes hebdomadaires
Les deux semaines suivantes, semaines 7 et 8258Les listes hebdomadaires, paywall inchangé

Les chiffres

Sur deux périodes de quatre semaines, la seconde commençant à la fin du premier mois, Meta a rapporté 51 pour cent de valeur d'achat en plus pour 13 pour cent de dépense en moins. Le ROAS d'achat a augmenté de 73 pour cent, celui d'iOS de 65 pour cent et celui d'Android de 83 pour cent. Le nombre d'événements d'achat est resté à peu près le même, donc le gain venait de la valeur de chaque achat.

ROAS, deuxième période de quatre semaines par rapport à la première
Toutes les campagnes Meta+73 %
+73 %Toutes les campagnes, Meta, deuxième période de quatre semaines par rapport à la première
iOS Meta+65 %
+65 %iOS, Meta, deuxième période de quatre semaines par rapport à la première
Android Meta+83 %
+83 %Android, Meta, deuxième période de quatre semaines par rapport à la première
J0, campagnes principales Adjust+83 %
+83 %J0, campagnes principales, Adjust, deuxième période de quatre semaines par rapport à la première
Meta pour 13 pour cent de dépense en moins sur les deux mêmes périodes. La citation du client ci-dessous donne les niveaux derrière les lignes Meta et Adjust.
Deuxième période de quatre semaines par rapport à la première
ROAS d'achat Meta, toutes les campagnes+73%
iOS+65%
Android+83%
ROAS J0, campagnes principales, Adjust+83%

Étape 1 : de 50 campagnes à six

Pendant la première semaine, leur équipe a construit six campagnes selon mon plan. iOS et Android tournaient séparément, chacun découpé en États-Unis, marchés de niveau 1 et reste du monde, avec les langues regroupées à l'intérieur. Les six enchérissaient sur la valeur d'achat, ont été lancées le lendemain et ont absorbé presque toute la dépense. Dès la semaine 2, plus aucune campagne principale n'enchérissait sur le nombre d'achats. Sur 13 comparaisons à conditions égales tirées de l'historique du compte, avec le même marché et la même plateforme mais une enchère différente, l'enchère sur la valeur l'emportait sur l'enchère sur le nombre d'achats à la semaine 4, dans tous les cas.

Les ad sets ont diminué avec les campagnes, de 63 à 11 à la semaine 4, et l'ad set typique est passé d'environ 10 événements d'achat par semaine à 60 ou plus, si bien que Meta avait assez de données dans chacun pour apprendre.

Le coût par install a triplé, ou presque, parce que les installs bon marché venaient de pays qui payaient rarement. Le ROAS J0 a augmenté d'environ un quart avant que quoi que ce soit d'autre change sur le compte, et les deux campagnes que nous avons laissées telles quelles ont baissé pendant les mêmes semaines.

Ad sets qui dépensent, hors tests créatifs et web
Une semaine du mois précédent
34 campagnes, 63 ad sets

Aucun n'a atteint 50 événements d'achat dans la semaine.

Semaine 4
6 campagnes, 11 ad sets
iOS US
iOS Niveau 1
iOS Reste du monde
Android US
Android Niveau 1
Android Reste du monde

8 ont atteint 50 événements d'achat dans la semaine et portaient environ 90% de la dépense.

50 événements d'achat ou plus dans la semaineMoins de 50
Ad sets qui dépensent, hors tests créatifs et web
SemaineCampagnesAd setsAd sets avec 50 événements d'achat ou plus
Le mois précédent34630
Semaine 46118, avec environ 90% de la dépense

Étape 2 : la baisse de budget

À la semaine 4, l'équipe a réduit le budget de cinq campagnes. J'ai réparti la baisse campagne par campagne à partir des données de cohorte, et le ROAS J0 a tenu. Le lendemain, six annonces ont été retirées, chacune derrière le reste de son ad set à chaque semaine complète sur Meta, ainsi qu'à J0 et à J7 dans Adjust. Trois des six étaient la même créa dans trois ad sets. Sur ce compte, Meta n'a pas repris cet argent de lui-même. Cinq des sept plus grosses annonces perdantes du premier mois ont quand même reçu au moins la moitié de leur dépense la semaine suivante, donc les arrêts ont été ajoutés à la main sur la liste du lundi.

Étape 3 : le paywall, et quatre semaines de listes du lundi

À la semaine 5, leur équipe a placé l'abonnement annuel en tête du paywall. Un abonné annuel paie toute l'année dès le premier jour, donc une partie de ce qui a suivi est un effet de calendrier, près de la moitié de la hausse du J0 sur la courbe de cohortes ci-dessous.

Le paywall était l'une des quatre choses arrivées pendant ces semaines. Les campagnes reconstruites ont terminé leur apprentissage avec l'enchère sur la valeur, 8 des 11 ad sets dépassant 50 événements d'achat par semaine à la semaine 4. Les annonces perdantes sortaient chaque lundi. Le budget bougeait selon les retours à J14, comparés au seuil de payback à 90 jours, toujours en une seule fois. Et les nouveaux concepts passaient par le filtre avant de toucher une campagne principale. Le ROAS J0 s'est établi à 2,2 fois le niveau de départ pendant les deux premières semaines après le paywall, puis à 2,6 fois pendant les deux semaines suivantes, et le ROAS d'achat hebdomadaire de Meta a grimpé trois semaines de suite. Le paywall a changé une seule fois, en une seule semaine, et le retour a continué de grimper pendant trois semaines après lui. C'est à cela que servaient les listes.

Le retour continue de croître pendant des mois

Une cohorte continue de payer longtemps après l'install. Sur les cohortes du printemps précédant le travail, le retour à J7 valait environ deux fois le J0, 2,7 fois à J28 et 4,3 fois à 16 semaines, et il monte encore quand les données s'arrêtent. Le paywall annuel a changé la forme de la courbe. Une plus grande part de l'argent d'une cohorte arrive désormais dès le premier jour, donc les cohortes d'après le paywall se situaient à 1,5 fois le J0 à J14, contre 2,0 avant, et les deux courbes figurent dans le graphique.

Retour de cohorte par jours depuis l'install, campagnes principales, Adjust
Les 28 premiers jours, avant et après le paywall annuel, en multiple du J0 de départ
Cohortes après le paywall, semaines 5 à 7Cohortes avant, semaines 2 à 4
Les 16 premières semaines, cohortes du printemps, en multiple de leur propre J0
Pondéré par le coût, chaque point sur des cohortes assez anciennes pour l'avoir atteint. Le paywall avance l'argent d'une cohorte, donc la courbe qui suit démarre plus haut et monte moins.
Retour de cohorte par jours depuis l'install, cohortes du printemps en multiple de leur propre J0, les deux autres en multiple du J0 de départ
JoursCohortes du printempsCohortes avant le paywallCohortes après le paywall
01,0x1,2x2,3x
11,1x1,4x2,5x
31,3x1,5x2,6x
71,9x2,2x3,3x
142,2x2,5x3,5x
282,7x3,2x
563,4x
843,8x
1124,3x

Les nouvelles créas sont passées par un filtre

Entre avril et le début de septembre, 58 codes de concept ont dépensé de l'argent sur le compte, et 15 d'entre eux sont arrivés dans les campagnes principales sans test. Les nouvelles annonces entraient directement dans les ad sets principaux et prenaient du budget aux annonces qui y fonctionnaient déjà.

À partir de la semaine 5, chaque nouveau concept est passé par un test d'install peu coûteux, puis par un test d'achat. À partir de la semaine 6, ceux qui réussissaient obtenaient un ad set à eux dans chaque campagne principale avant de rejoindre les annonces éprouvées. Le nombre de nouvelles annonces arrivant dans les ad sets principaux est tombé de plusieurs dizaines par semaine à une poignée. Les traductions demandaient une règle à part. Environ les deux tiers des versions traduites lancées le premier mois ont à peine diffusé, et le résultat d'une annonce en anglais ne disait rien de ce que donneraient ses traductions, alors j'ai demandé à l'équipe de ne traduire une annonce qu'après qu'elle avait fait ses preuves.

Comment un nouveau concept arrivait dans les campagnes principales
  1. Test d'installUn ad set par concept, dans un marché peu coûteux
  2. Test d'achatJugé sur les acheteurs
  3. Ad set dédiéDans chaque campagne principale, dès la semaine 6
  4. Ad sets principauxAux côtés des annonces éprouvées
Nouvelles annonces entrant dans les ad sets principaux, les trois mois avant le filtre13 à 71 par semaine
À partir de la semaine 50 à 5 par semaine

Deux bonnes semaines avant de scaler un concept

Le seuil à franchir vient de l'historique du compte. Environ trois annonces sur quatre qui ont devancé de plus de 20 pour cent les annonces comparables en une semaine sont restées devant elles sur toute leur durée de vie. Parmi les annonces qui y sont arrivées en deux semaines distinctes, 91 pour cent sont restées devant. La première étape de ce type de test est détaillée sur ce site.

Annonces qui ont devancé de plus de 20% les annonces comparables, puis sont restées devant sur leur durée de vie
Sur une semaine76 %
76 %des 137 annonces qui l'ont fait une fois
Sur deux semaines distinctes91 %
91 %des 57 annonces qui l'ont fait deux fois
Tiré de l'historique du compte, d'avril au début de septembre. Une semaine comptait quand l'annonce avait assez dépensé pour être lue.

Ce que les chiffres incluent

L'événement d'achat de Meta sur ce compte inclut aussi les renouvellements, donc son ROAS se lit d'abord comme le score propre à Meta. Les deux périodes tombent pendant le travail, et la baisse de dépense était une décision de l'équipe. La hausse à partir de la semaine 5 est arrivée pendant les mêmes semaines que leur paywall, la fin de l'apprentissage des campagnes et les listes hebdomadaires, et aucun test sur le compte ne permet de départager les trois.

Ce que cela montre

Leur équipe a fait chaque modification dans le compte, à partir d'une liste que j'écrivais chaque semaine d'après les données de Meta, d'Adjust et du paywall. Cette répartition convient à une équipe qui a déjà des personnes dans le compte publicitaire et qui a besoin de quelqu'un pour trancher.

Dans les mots du client

We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.

In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.

He is someone I trust. He has always been the first person we call.

İbrahim Güneş · Cofounder, TwoWise (Jukebox AI)

Questions fréquentes

Quelle part du résultat de Jukebox vient des campagnes ?

La refonte a fait monter le ROAS J0 d'environ un quart avant que quoi que ce soit d'autre change, et il a tenu pendant la baisse de budget de l'équipe. La hausse jusqu'à 2,4 fois le niveau de départ est arrivée pendant les quatre semaines où le paywall annuel de l'équipe, la fin de l'apprentissage des campagnes reconstruites avec l'enchère sur la valeur et les listes hebdomadaires sont arrivés en même temps. Près de la moitié de la hausse du J0 vient des abonnements annuels payés d'avance, et le retour a continué de grimper pendant trois semaines après le changement du paywall, donc les listes ont fait une partie du travail. Personne ne peut séparer ces effets exactement.

Pourquoi avoir ramené Jukebox de 50 campagnes à six ?

Meta apprend à l'intérieur de chaque ad set et attend environ 50 événements d'achat par semaine avant de sortir de la phase d'apprentissage. Avec 63 ad sets, aucun n'y arrivait. À la semaine 4, 8 des 11 ad sets y arrivaient, et ils portaient environ 90 pour cent de la dépense.

Avez-vous géré vous-même les campagnes de Jukebox ?

Leur équipe a construit et géré chaque campagne. J'ai rédigé le plan et envoyé la liste des modifications chaque lundi.

Pourquoi le coût par install a-t-il augmenté sur Jukebox ?

Les installs bon marché venaient de pays qui payaient rarement. L'enchère sur la valeur d'achat a obtenu environ trois fois moins d'installs pour le même argent, et davantage d'entre eux payaient.