Jukebox: ROAS J0 plus que doublé en huit semaines

Jukebox AI est un générateur de chansons par IA de TwoWise, avec un budget publicitaire mensuel à six chiffres. Le compte dépensait sur 50 campagnes. Durant la première semaine, leur équipe l'a rebâti en six campagnes, selon mon plan, puis l'a géré à partir d'une liste que je lui envoyais chaque lundi. À la semaine 4, elle a réduit le budget, et à la semaine 5, elle a placé l'abonnement annuel en tête du paywall. Après huit semaines, le ROAS J0 des campagnes principales valait 2,4 fois son niveau de départ.

Jukebox AI app icon
Jukebox AITwoWise · App Store · Google Play

C'est le cas de référence pour un fractional Head of UA aux côtés d'une équipe qui gère elle-même ses campagnes, et pour la lecture des résultats publicitaires d'une application d'abonnement avec son paywall. Le graphique présente le chiffre après chaque changement.

Le point de départ

Le mois précédant le travail, le compte a dépensé sur 50 campagnes différentes en dehors de ses tests de création et de ses tests web, jusqu'à 34 en une seule semaine, avec 63 ensembles de publicités au total. Presque toutes étaient des campagnes mondiales optimisées sur le nombre d'achats, avec plusieurs langues dans chacune. Avec des dépenses aussi dispersées, aucun ensemble de publicités n'atteignait 50 événements d'achat par semaine. C'est le décompte d'achats propre à Meta, et le seuil qu'il attend avant qu'un ensemble de publicités sorte de la phase d'apprentissage. Meta envoyait l'argent vers les pays où un achat coûtait le moins cher. Dans l'une de ces campagnes, le meilleur quart des pays rapportait plus de quatre fois ce que rapportait le pire quart, selon les chiffres à J7 de Meta.

Le ROAS J0 des campagnes principales avait reculé d'environ 30 % depuis le début de l'été, et le ROAS d'achat hebdomadaire de Meta avait diminué de moitié depuis le printemps. Jukebox vend des abonnements hebdomadaires et annuels ainsi que des crédits supplémentaires, alors le retour d'une cohorte continue de croître pendant des mois après l'installation, et chaque chiffre J0 de cette page est une lecture précoce.

Comment nous avons travaillé

Leur équipe gérait le compte et le produit. Je travaillais à partir de leurs données Meta et Adjust et, à partir de la semaine 3, j'envoyais chaque lundi une liste des publicités à arrêter et des budgets à déplacer. Le lundi suivant, je la comparais à ce qui avait été mis en ligne.

ROAS J0, étape par étape

ROAS J0, campagnes principales, Adjust, en indice
Mon plan, bâti par leur équipeJuillet, et la baisse de budget de l'équipeLe paywall de l'équipe et mes listes hebdomadaires ensemble
Le mois précédant le travail vaut 100. Chaque barre est une période après un changement. Le paywall est arrivé en une semaine et le J0 a continué de monter durant les deux semaines suivantes. Près de la moitié de la hausse après le paywall vient des abonnements annuels payés pour l'année dès le premier jour.
ROAS J0 des campagnes principales dans Adjust, en indice, le mois précédant le travail valant 100
PériodeIndiceChangement précédent
Le mois précédent, indice 100100Avant le travail
Après la refonte, semaines 2 et 3124Mon plan, bâti par leur équipe
Après la baisse de budget, semaine 4121Le changement de l'équipe
Paywall, deux semaines, semaines 5 et 6224Le paywall de l'équipe et mes listes hebdomadaires
Les deux semaines suivantes, semaines 7 et 8258Les listes hebdomadaires, paywall inchangé

Les chiffres

Sur deux périodes de quatre semaines, la seconde commençant à la fin du premier mois, Meta a rapporté 51 % de valeur d'achat en plus pour 13 % de dépenses en moins. Le ROAS d'achat a augmenté de 73 %, celui d'iOS de 65 % et celui d'Android de 83 %. Le nombre d'événements d'achat est resté à peu près le même, alors le gain venait de la valeur de chaque achat.

ROAS, deuxième période de quatre semaines par rapport à la première
Toutes les campagnes Meta+73 %
+73 %Toutes les campagnes, Meta, deuxième période de quatre semaines par rapport à la première
iOS Meta+65 %
+65 %iOS, Meta, deuxième période de quatre semaines par rapport à la première
Android Meta+83 %
+83 %Android, Meta, deuxième période de quatre semaines par rapport à la première
J0, campagnes principales Adjust+83 %
+83 %J0, campagnes principales, Adjust, deuxième période de quatre semaines par rapport à la première
Meta pour 13 % de dépenses en moins sur les deux mêmes périodes. La citation du client ci-dessous donne les niveaux derrière les lignes Meta et Adjust.
Deuxième période de quatre semaines par rapport à la première
ROAS d'achat Meta, toutes les campagnes+73 %
iOS+65 %
Android+83 %
ROAS J0, campagnes principales, Adjust+83 %

Étape 1: de 50 campagnes à six

Durant la première semaine, leur équipe a bâti six campagnes selon mon plan. iOS et Android tournaient séparément, chacun découpé en États-Unis, marchés de niveau 1 et reste du monde, avec les langues regroupées à l'intérieur. Les six enchérissaient sur la valeur d'achat, ont été lancées le lendemain et ont absorbé presque toutes les dépenses. Dès la semaine 2, plus aucune campagne principale n'enchérissait sur le nombre d'achats. Sur 13 comparaisons à conditions égales tirées de l'historique du compte, avec le même marché et la même plateforme mais une enchère différente, l'enchère sur la valeur l'emportait sur l'enchère sur le nombre d'achats à la semaine 4, chaque fois.

Les ensembles de publicités ont diminué avec les campagnes, de 63 à 11 à la semaine 4, et l'ensemble typique est passé d'environ 10 événements d'achat par semaine à 60 ou plus, de sorte que Meta disposait d'assez de données dans chacun pour apprendre.

Le coût par installation a triplé, ou presque, parce que les installations peu chères venaient de pays qui payaient rarement. Le ROAS J0 a augmenté d'environ un quart avant que quoi que ce soit d'autre change dans le compte, et les deux campagnes que nous avons laissées telles quelles ont baissé durant les mêmes semaines.

Ensembles de publicités qui dépensent, hors tests de création et tests web
Une semaine du mois précédent
34 campagnes, 63 ensembles

Aucun n'a atteint 50 événements d'achat dans la semaine.

Semaine 4
6 campagnes, 11 ensembles
iOS US
iOS Niveau 1
iOS Reste du monde
Android US
Android Niveau 1
Android Reste du monde

8 ont atteint 50 événements d'achat dans la semaine et portaient environ 90 % des dépenses.

50 événements d'achat ou plus dans la semaineMoins de 50
Ensembles de publicités qui dépensent, hors tests de création et tests web
SemaineCampagnesEnsembles de publicitésEnsembles de publicités avec 50 événements d'achat ou plus
Le mois précédent34630
Semaine 46118, avec environ 90 % des dépenses

Étape 2: la baisse de budget

À la semaine 4, l'équipe a réduit le budget de cinq campagnes. J'ai réparti la baisse campagne par campagne à partir des données de cohorte, et le ROAS J0 a tenu le coup. Le lendemain, six publicités ont été retirées, chacune derrière le reste de son ensemble de publicités à chaque semaine complète dans Meta, ainsi qu'à J0 et à J7 dans Adjust. Trois des six étaient la même création dans trois ensembles de publicités. Sur ce compte, Meta n'a pas repris cet argent de lui-même. Cinq des sept plus grosses publicités perdantes du premier mois ont quand même reçu au moins la moitié de leurs dépenses la semaine suivante, alors les arrêts ont été ajoutés à la main à la liste du lundi.

Étape 3: le paywall, et quatre semaines de listes du lundi

À la semaine 5, leur équipe a placé l'abonnement annuel en tête du paywall. Un abonné annuel paie toute l'année dès le premier jour, alors une partie de ce qui a suivi est un effet de calendrier, soit près de la moitié de la hausse du J0 sur la courbe de cohortes ci-dessous.

Le paywall était l'une des quatre choses arrivées durant ces semaines. Les campagnes rebâties ont terminé leur apprentissage avec l'enchère sur la valeur, 8 des 11 ensembles de publicités dépassant 50 événements d'achat par semaine à la semaine 4. Les publicités perdantes sortaient chaque lundi. Le budget bougeait selon les retours à J14, comparés au seuil de payback à 90 jours, toujours en une seule fois. Et les nouveaux concepts passaient par le filtre avant de toucher une campagne principale. Le ROAS J0 s'est établi à 2,2 fois le niveau de départ durant les deux premières semaines après le paywall, puis à 2,6 fois durant les deux semaines suivantes, et le ROAS d'achat hebdomadaire de Meta a grimpé trois semaines de suite. Le paywall a changé une seule fois, en une seule semaine, et le retour a continué de grimper pendant trois semaines après lui. C'est à ça que servaient les listes.

Le retour continue de croître pendant des mois

Une cohorte continue de payer longtemps après l'installation. Sur les cohortes du printemps précédant le travail, le retour à J7 valait environ deux fois le J0, 2,7 fois à J28 et 4,3 fois à 16 semaines, et il monte encore quand les données s'arrêtent. Le paywall annuel a changé la forme de la courbe. Une plus grande part de l'argent d'une cohorte arrive maintenant dès le premier jour, alors les cohortes d'après le paywall se situaient à 1,5 fois le J0 à J14, contre 2,0 avant, et les deux courbes figurent dans le graphique.

Retour de cohorte par jours depuis l'installation, campagnes principales, Adjust
Les 28 premiers jours, avant et après le paywall annuel, en multiple du J0 de départ
Cohortes après le paywall, semaines 5 à 7Cohortes avant, semaines 2 à 4
Les 16 premières semaines, cohortes du printemps, en multiple de leur propre J0
Pondéré par le coût, chaque point sur des cohortes assez anciennes pour l'avoir atteint. Le paywall avance l'argent d'une cohorte, alors la courbe qui suit démarre plus haut et monte moins.
Retour de cohorte par jours depuis l'installation, cohortes du printemps en multiple de leur propre J0, les deux autres en multiple du J0 de départ
JoursCohortes du printempsCohortes avant le paywallCohortes après le paywall
01,0x1,2x2,3x
11,1x1,4x2,5x
31,3x1,5x2,6x
71,9x2,2x3,3x
142,2x2,5x3,5x
282,7x3,2x
563,4x
843,8x
1124,3x

Les nouvelles créations sont passées par un filtre

Entre avril et le début de septembre, 58 codes de concept ont dépensé de l'argent sur le compte, et 15 d'entre eux sont arrivés dans les campagnes principales sans test. Les nouvelles publicités entraient directement dans les ensembles de publicités principaux et prenaient du budget aux publicités qui y fonctionnaient déjà.

À partir de la semaine 5, chaque nouveau concept est passé par un test d'installation peu coûteux, puis par un test d'achat. À partir de la semaine 6, ceux qui réussissaient obtenaient un ensemble de publicités à eux dans chaque campagne principale avant de rejoindre les publicités éprouvées. Le nombre de nouvelles publicités arrivant dans les ensembles principaux est passé de plusieurs dizaines par semaine à une poignée. Les traductions demandaient une règle à part. Environ les deux tiers des versions traduites lancées le premier mois ont à peine diffusé, et le résultat d'une publicité en anglais ne disait rien de ce que donneraient ses traductions, alors j'ai demandé à l'équipe de ne traduire une publicité qu'après qu'elle avait fait ses preuves.

Comment un nouveau concept arrivait dans les campagnes principales
  1. Test d'installationUn ensemble de publicités par concept, dans un marché peu coûteux
  2. Test d'achatJugé sur les acheteurs
  3. Ensemble dédiéDans chaque campagne principale, dès la semaine 6
  4. Ensembles principauxAux côtés des publicités éprouvées
Nouvelles publicités entrant dans les ensembles principaux, les trois mois avant le filtre13 à 71 par semaine
À partir de la semaine 50 à 5 par semaine

Deux bonnes semaines avant la mise à l'échelle d'un concept

Le seuil à franchir vient de l'historique du compte. Environ trois publicités sur quatre qui ont devancé de plus de 20 % les publicités comparables en une semaine sont restées devant elles sur toute leur durée de vie. Parmi les publicités qui y sont arrivées en deux semaines distinctes, 91 % sont restées devant. La première étape de ce type de test est détaillée sur ce site.

Publicités qui ont devancé de plus de 20 % les publicités comparables, puis sont restées devant sur leur durée de vie
Sur une semaine76 %
76 %des 137 publicités qui l'ont fait une fois
Sur deux semaines distinctes91 %
91 %des 57 publicités qui l'ont fait deux fois
Tiré de l'historique du compte, d'avril au début de septembre. Une semaine comptait quand la publicité avait assez dépensé pour être lue.

Ce que les chiffres incluent

L'événement d'achat de Meta sur ce compte inclut aussi les renouvellements, alors son ROAS se lit d'abord comme le score propre à Meta. Les deux périodes tombent durant le travail, et la baisse des dépenses était une décision de l'équipe. La hausse à partir de la semaine 5 est arrivée durant les mêmes semaines que leur paywall, la fin de l'apprentissage des campagnes et les listes hebdomadaires, et aucun test sur le compte ne permet de départager les trois.

Ce que cela montre

Leur équipe a fait chaque modification dans le compte, à partir d'une liste que j'écrivais chaque semaine d'après les données de Meta, d'Adjust et du paywall. Cette répartition convient à une équipe qui a déjà des gens dans le compte publicitaire et qui a besoin de quelqu'un pour trancher.

Dans les mots du client

We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.

In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.

He is someone I trust. He has always been the first person we call.

İbrahim Güneş · Cofounder, TwoWise (Jukebox AI)

Questions fréquentes

Quelle part du résultat de Jukebox vient des campagnes?

La refonte a fait monter le ROAS J0 d'environ un quart avant que quoi que ce soit d'autre change, et il a tenu durant la baisse de budget de l'équipe. La hausse jusqu'à 2,4 fois le niveau de départ est arrivée durant les quatre semaines où le paywall annuel de l'équipe, la fin de l'apprentissage des campagnes rebâties avec l'enchère sur la valeur et les listes hebdomadaires sont tombés en même temps. Près de la moitié de la hausse du J0 vient des abonnements annuels payés d'avance, et le retour a continué de grimper pendant trois semaines après le changement du paywall, alors les listes ont fait une partie du travail. Personne ne peut séparer ces effets exactement.

Pourquoi avoir ramené Jukebox de 50 campagnes à six?

Meta apprend à l'intérieur de chaque ensemble de publicités et attend environ 50 événements d'achat par semaine avant de sortir de la phase d'apprentissage. Avec 63 ensembles de publicités, aucun n'y arrivait. À la semaine 4, 8 des 11 ensembles de publicités y arrivaient, et ils portaient environ 90 % des dépenses.

Avez-vous géré vous-même les campagnes de Jukebox?

Leur équipe a bâti et géré chaque campagne. J'ai rédigé le plan et envoyé la liste des changements chaque lundi.

Pourquoi le coût par installation a-t-il augmenté chez Jukebox?

Les installations peu chères venaient de pays qui payaient rarement. L'enchère sur la valeur d'achat a obtenu environ trois fois moins d'installations pour la même somme, et davantage d'entre elles payaient.