Jukebox AI est un générateur de chansons par IA de TwoWise, avec un budget publicitaire mensuel à six chiffres. Le compte dépensait sur 50 campagnes. Durant la première semaine, leur équipe l'a rebâti en six campagnes, selon mon plan, puis l'a géré à partir d'une liste que je lui envoyais chaque lundi. À la semaine 4, elle a réduit le budget, et à la semaine 5, elle a placé l'abonnement annuel en tête du paywall. Après huit semaines, le ROAS J0 des campagnes principales valait 2,4 fois son niveau de départ.

C'est le cas de référence pour un fractional Head of UA aux côtés d'une équipe qui gère elle-même ses campagnes, et pour la lecture des résultats publicitaires d'une application d'abonnement avec son paywall. Le graphique présente le chiffre après chaque changement.
Le point de départ
Le mois précédant le travail, le compte a dépensé sur 50 campagnes différentes en dehors de ses tests de création et de ses tests web, jusqu'à 34 en une seule semaine, avec 63 ensembles de publicités au total. Presque toutes étaient des campagnes mondiales optimisées sur le nombre d'achats, avec plusieurs langues dans chacune. Avec des dépenses aussi dispersées, aucun ensemble de publicités n'atteignait 50 événements d'achat par semaine. C'est le décompte d'achats propre à Meta, et le seuil qu'il attend avant qu'un ensemble de publicités sorte de la phase d'apprentissage. Meta envoyait l'argent vers les pays où un achat coûtait le moins cher. Dans l'une de ces campagnes, le meilleur quart des pays rapportait plus de quatre fois ce que rapportait le pire quart, selon les chiffres à J7 de Meta.
Le ROAS J0 des campagnes principales avait reculé d'environ 30 % depuis le début de l'été, et le ROAS d'achat hebdomadaire de Meta avait diminué de moitié depuis le printemps. Jukebox vend des abonnements hebdomadaires et annuels ainsi que des crédits supplémentaires, alors le retour d'une cohorte continue de croître pendant des mois après l'installation, et chaque chiffre J0 de cette page est une lecture précoce.
Comment nous avons travaillé
Leur équipe gérait le compte et le produit. Je travaillais à partir de leurs données Meta et Adjust et, à partir de la semaine 3, j'envoyais chaque lundi une liste des publicités à arrêter et des budgets à déplacer. Le lundi suivant, je la comparais à ce qui avait été mis en ligne.
ROAS J0, étape par étape
| Période | Indice | Changement précédent |
|---|---|---|
| Le mois précédent, indice 100 | 100 | Avant le travail |
| Après la refonte, semaines 2 et 3 | 124 | Mon plan, bâti par leur équipe |
| Après la baisse de budget, semaine 4 | 121 | Le changement de l'équipe |
| Paywall, deux semaines, semaines 5 et 6 | 224 | Le paywall de l'équipe et mes listes hebdomadaires |
| Les deux semaines suivantes, semaines 7 et 8 | 258 | Les listes hebdomadaires, paywall inchangé |
Les chiffres
Sur deux périodes de quatre semaines, la seconde commençant à la fin du premier mois, Meta a rapporté 51 % de valeur d'achat en plus pour 13 % de dépenses en moins. Le ROAS d'achat a augmenté de 73 %, celui d'iOS de 65 % et celui d'Android de 83 %. Le nombre d'événements d'achat est resté à peu près le même, alors le gain venait de la valeur de chaque achat.
| Deuxième période de quatre semaines par rapport à la première | |
|---|---|
| ROAS d'achat Meta, toutes les campagnes | +73 % |
| iOS | +65 % |
| Android | +83 % |
| ROAS J0, campagnes principales, Adjust | +83 % |
Étape 1: de 50 campagnes à six
Durant la première semaine, leur équipe a bâti six campagnes selon mon plan. iOS et Android tournaient séparément, chacun découpé en États-Unis, marchés de niveau 1 et reste du monde, avec les langues regroupées à l'intérieur. Les six enchérissaient sur la valeur d'achat, ont été lancées le lendemain et ont absorbé presque toutes les dépenses. Dès la semaine 2, plus aucune campagne principale n'enchérissait sur le nombre d'achats. Sur 13 comparaisons à conditions égales tirées de l'historique du compte, avec le même marché et la même plateforme mais une enchère différente, l'enchère sur la valeur l'emportait sur l'enchère sur le nombre d'achats à la semaine 4, chaque fois.
Les ensembles de publicités ont diminué avec les campagnes, de 63 à 11 à la semaine 4, et l'ensemble typique est passé d'environ 10 événements d'achat par semaine à 60 ou plus, de sorte que Meta disposait d'assez de données dans chacun pour apprendre.
Le coût par installation a triplé, ou presque, parce que les installations peu chères venaient de pays qui payaient rarement. Le ROAS J0 a augmenté d'environ un quart avant que quoi que ce soit d'autre change dans le compte, et les deux campagnes que nous avons laissées telles quelles ont baissé durant les mêmes semaines.
Aucun n'a atteint 50 événements d'achat dans la semaine.
8 ont atteint 50 événements d'achat dans la semaine et portaient environ 90 % des dépenses.
| Semaine | Campagnes | Ensembles de publicités | Ensembles de publicités avec 50 événements d'achat ou plus |
|---|---|---|---|
| Le mois précédent | 34 | 63 | 0 |
| Semaine 4 | 6 | 11 | 8, avec environ 90 % des dépenses |
Étape 2: la baisse de budget
À la semaine 4, l'équipe a réduit le budget de cinq campagnes. J'ai réparti la baisse campagne par campagne à partir des données de cohorte, et le ROAS J0 a tenu le coup. Le lendemain, six publicités ont été retirées, chacune derrière le reste de son ensemble de publicités à chaque semaine complète dans Meta, ainsi qu'à J0 et à J7 dans Adjust. Trois des six étaient la même création dans trois ensembles de publicités. Sur ce compte, Meta n'a pas repris cet argent de lui-même. Cinq des sept plus grosses publicités perdantes du premier mois ont quand même reçu au moins la moitié de leurs dépenses la semaine suivante, alors les arrêts ont été ajoutés à la main à la liste du lundi.
Étape 3: le paywall, et quatre semaines de listes du lundi
À la semaine 5, leur équipe a placé l'abonnement annuel en tête du paywall. Un abonné annuel paie toute l'année dès le premier jour, alors une partie de ce qui a suivi est un effet de calendrier, soit près de la moitié de la hausse du J0 sur la courbe de cohortes ci-dessous.
Le paywall était l'une des quatre choses arrivées durant ces semaines. Les campagnes rebâties ont terminé leur apprentissage avec l'enchère sur la valeur, 8 des 11 ensembles de publicités dépassant 50 événements d'achat par semaine à la semaine 4. Les publicités perdantes sortaient chaque lundi. Le budget bougeait selon les retours à J14, comparés au seuil de payback à 90 jours, toujours en une seule fois. Et les nouveaux concepts passaient par le filtre avant de toucher une campagne principale. Le ROAS J0 s'est établi à 2,2 fois le niveau de départ durant les deux premières semaines après le paywall, puis à 2,6 fois durant les deux semaines suivantes, et le ROAS d'achat hebdomadaire de Meta a grimpé trois semaines de suite. Le paywall a changé une seule fois, en une seule semaine, et le retour a continué de grimper pendant trois semaines après lui. C'est à ça que servaient les listes.
Le retour continue de croître pendant des mois
Une cohorte continue de payer longtemps après l'installation. Sur les cohortes du printemps précédant le travail, le retour à J7 valait environ deux fois le J0, 2,7 fois à J28 et 4,3 fois à 16 semaines, et il monte encore quand les données s'arrêtent. Le paywall annuel a changé la forme de la courbe. Une plus grande part de l'argent d'une cohorte arrive maintenant dès le premier jour, alors les cohortes d'après le paywall se situaient à 1,5 fois le J0 à J14, contre 2,0 avant, et les deux courbes figurent dans le graphique.
| Jours | Cohortes du printemps | Cohortes avant le paywall | Cohortes après le paywall |
|---|---|---|---|
| 0 | 1,0x | 1,2x | 2,3x |
| 1 | 1,1x | 1,4x | 2,5x |
| 3 | 1,3x | 1,5x | 2,6x |
| 7 | 1,9x | 2,2x | 3,3x |
| 14 | 2,2x | 2,5x | 3,5x |
| 28 | 2,7x | 3,2x | |
| 56 | 3,4x | ||
| 84 | 3,8x | ||
| 112 | 4,3x |
Les nouvelles créations sont passées par un filtre
Entre avril et le début de septembre, 58 codes de concept ont dépensé de l'argent sur le compte, et 15 d'entre eux sont arrivés dans les campagnes principales sans test. Les nouvelles publicités entraient directement dans les ensembles de publicités principaux et prenaient du budget aux publicités qui y fonctionnaient déjà.
À partir de la semaine 5, chaque nouveau concept est passé par un test d'installation peu coûteux, puis par un test d'achat. À partir de la semaine 6, ceux qui réussissaient obtenaient un ensemble de publicités à eux dans chaque campagne principale avant de rejoindre les publicités éprouvées. Le nombre de nouvelles publicités arrivant dans les ensembles principaux est passé de plusieurs dizaines par semaine à une poignée. Les traductions demandaient une règle à part. Environ les deux tiers des versions traduites lancées le premier mois ont à peine diffusé, et le résultat d'une publicité en anglais ne disait rien de ce que donneraient ses traductions, alors j'ai demandé à l'équipe de ne traduire une publicité qu'après qu'elle avait fait ses preuves.
- Test d'installationUn ensemble de publicités par concept, dans un marché peu coûteux
- Test d'achatJugé sur les acheteurs
- Ensemble dédiéDans chaque campagne principale, dès la semaine 6
- Ensembles principauxAux côtés des publicités éprouvées
Deux bonnes semaines avant la mise à l'échelle d'un concept
Le seuil à franchir vient de l'historique du compte. Environ trois publicités sur quatre qui ont devancé de plus de 20 % les publicités comparables en une semaine sont restées devant elles sur toute leur durée de vie. Parmi les publicités qui y sont arrivées en deux semaines distinctes, 91 % sont restées devant. La première étape de ce type de test est détaillée sur ce site.
Ce que les chiffres incluent
L'événement d'achat de Meta sur ce compte inclut aussi les renouvellements, alors son ROAS se lit d'abord comme le score propre à Meta. Les deux périodes tombent durant le travail, et la baisse des dépenses était une décision de l'équipe. La hausse à partir de la semaine 5 est arrivée durant les mêmes semaines que leur paywall, la fin de l'apprentissage des campagnes et les listes hebdomadaires, et aucun test sur le compte ne permet de départager les trois.
Ce que cela montre
Leur équipe a fait chaque modification dans le compte, à partir d'une liste que j'écrivais chaque semaine d'après les données de Meta, d'Adjust et du paywall. Cette répartition convient à une équipe qui a déjà des gens dans le compte publicitaire et qui a besoin de quelqu'un pour trancher.
Dans les mots du client
We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.
In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.
He is someone I trust. He has always been the first person we call.
Questions fréquentes
Quelle part du résultat de Jukebox vient des campagnes?
La refonte a fait monter le ROAS J0 d'environ un quart avant que quoi que ce soit d'autre change, et il a tenu durant la baisse de budget de l'équipe. La hausse jusqu'à 2,4 fois le niveau de départ est arrivée durant les quatre semaines où le paywall annuel de l'équipe, la fin de l'apprentissage des campagnes rebâties avec l'enchère sur la valeur et les listes hebdomadaires sont tombés en même temps. Près de la moitié de la hausse du J0 vient des abonnements annuels payés d'avance, et le retour a continué de grimper pendant trois semaines après le changement du paywall, alors les listes ont fait une partie du travail. Personne ne peut séparer ces effets exactement.
Pourquoi avoir ramené Jukebox de 50 campagnes à six?
Meta apprend à l'intérieur de chaque ensemble de publicités et attend environ 50 événements d'achat par semaine avant de sortir de la phase d'apprentissage. Avec 63 ensembles de publicités, aucun n'y arrivait. À la semaine 4, 8 des 11 ensembles de publicités y arrivaient, et ils portaient environ 90 % des dépenses.
Avez-vous géré vous-même les campagnes de Jukebox?
Leur équipe a bâti et géré chaque campagne. J'ai rédigé le plan et envoyé la liste des changements chaque lundi.
Pourquoi le coût par installation a-t-il augmenté chez Jukebox?
Les installations peu chères venaient de pays qui payaient rarement. L'enchère sur la valeur d'achat a obtenu environ trois fois moins d'installations pour la même somme, et davantage d'entre elles payaient.