Jukebox AI est un générateur de chansons par IA de TwoWise, avec un budget publicitaire mensuel à six chiffres. Le compte dépensait sur 50 campagnes. Pendant la première semaine, leur équipe l'a reconstruit en six campagnes, selon mon plan, puis l'a géré à partir d'une liste que je lui envoyais chaque lundi. À la semaine 4, elle a réduit le budget, et à la semaine 5, elle a placé l'abonnement annuel en tête du paywall. Après huit semaines, le ROAS J0 des campagnes principales valait 2,4 fois son niveau de départ.

C'est l'étude de cas d'un fractional Head of UA aux côtés d'une équipe qui gère elle-même ses campagnes, et de la lecture des résultats publicitaires d'une app d'abonnement avec son paywall. Le graphique montre le chiffre après chaque changement.
Le point de départ
Le mois précédant le travail, le compte a dépensé sur 50 campagnes différentes en dehors de ses tests créatifs et web, jusqu'à 34 en une seule semaine, avec 63 ad sets à elles toutes. Presque toutes étaient des campagnes mondiales optimisées sur le nombre d'achats, avec plusieurs langues dans chacune. Avec une dépense aussi dispersée, aucun ad set n'atteignait 50 événements d'achat par semaine. C'est le décompte d'achats propre à Meta, et le seuil qu'il attend avant qu'un ad set sorte de la phase d'apprentissage. Meta envoyait l'argent vers les pays où un achat coûtait le moins cher. Dans l'une de ces campagnes, le meilleur quart des pays rapportait plus de quatre fois ce que rapportait le pire quart, selon les chiffres à J7 de Meta.
Le ROAS J0 des campagnes principales avait baissé d'environ 30 pour cent depuis le début de l'été, et le ROAS d'achat hebdomadaire de Meta avait été divisé par deux depuis le printemps. Jukebox vend des abonnements hebdomadaires et annuels ainsi que des crédits supplémentaires, donc le retour d'une cohorte continue de croître pendant des mois après l'install, et chaque chiffre J0 de cette page est une lecture précoce.
Comment nous avons travaillé
Leur équipe gérait le compte et le produit. Je travaillais à partir de leurs données Meta et Adjust et, à partir de la semaine 3, j'envoyais chaque lundi une liste des annonces à arrêter et des budgets à déplacer. Le lundi suivant, je la comparais avec ce qui avait été mis en ligne.
ROAS J0, étape par étape
| Période | Indice | Changement précédent |
|---|---|---|
| Le mois précédent, indice 100 | 100 | Avant le travail |
| Après la refonte, semaines 2 et 3 | 124 | Mon plan, construit par leur équipe |
| Après la baisse de budget, semaine 4 | 121 | Le changement de l'équipe |
| Paywall, deux semaines, semaines 5 et 6 | 224 | Le paywall de l'équipe et mes listes hebdomadaires |
| Les deux semaines suivantes, semaines 7 et 8 | 258 | Les listes hebdomadaires, paywall inchangé |
Les chiffres
Sur deux périodes de quatre semaines, la seconde commençant à la fin du premier mois, Meta a rapporté 51 pour cent de valeur d'achat en plus pour 13 pour cent de dépense en moins. Le ROAS d'achat a augmenté de 73 pour cent, celui d'iOS de 65 pour cent et celui d'Android de 83 pour cent. Le nombre d'événements d'achat est resté à peu près le même, donc le gain venait de la valeur de chaque achat.
| Deuxième période de quatre semaines par rapport à la première | |
|---|---|
| ROAS d'achat Meta, toutes les campagnes | +73% |
| iOS | +65% |
| Android | +83% |
| ROAS J0, campagnes principales, Adjust | +83% |
Étape 1 : de 50 campagnes à six
Pendant la première semaine, leur équipe a construit six campagnes selon mon plan. iOS et Android tournaient séparément, chacun découpé en États-Unis, marchés de niveau 1 et reste du monde, avec les langues regroupées à l'intérieur. Les six enchérissaient sur la valeur d'achat, ont été lancées le lendemain et ont absorbé presque toute la dépense. Dès la semaine 2, plus aucune campagne principale n'enchérissait sur le nombre d'achats. Sur 13 comparaisons à conditions égales tirées de l'historique du compte, avec le même marché et la même plateforme mais une enchère différente, l'enchère sur la valeur l'emportait sur l'enchère sur le nombre d'achats à la semaine 4, dans tous les cas.
Les ad sets ont diminué avec les campagnes, de 63 à 11 à la semaine 4, et l'ad set typique est passé d'environ 10 événements d'achat par semaine à 60 ou plus, si bien que Meta avait assez de données dans chacun pour apprendre.
Le coût par install a triplé, ou presque, parce que les installs bon marché venaient de pays qui payaient rarement. Le ROAS J0 a augmenté d'environ un quart avant que quoi que ce soit d'autre change sur le compte, et les deux campagnes que nous avons laissées telles quelles ont baissé pendant les mêmes semaines.
Aucun n'a atteint 50 événements d'achat dans la semaine.
8 ont atteint 50 événements d'achat dans la semaine et portaient environ 90% de la dépense.
| Semaine | Campagnes | Ad sets | Ad sets avec 50 événements d'achat ou plus |
|---|---|---|---|
| Le mois précédent | 34 | 63 | 0 |
| Semaine 4 | 6 | 11 | 8, avec environ 90% de la dépense |
Étape 2 : la baisse de budget
À la semaine 4, l'équipe a réduit le budget de cinq campagnes. J'ai réparti la baisse campagne par campagne à partir des données de cohorte, et le ROAS J0 a tenu. Le lendemain, six annonces ont été retirées, chacune derrière le reste de son ad set à chaque semaine complète sur Meta, ainsi qu'à J0 et à J7 dans Adjust. Trois des six étaient la même créa dans trois ad sets. Sur ce compte, Meta n'a pas repris cet argent de lui-même. Cinq des sept plus grosses annonces perdantes du premier mois ont quand même reçu au moins la moitié de leur dépense la semaine suivante, donc les arrêts ont été ajoutés à la main sur la liste du lundi.
Étape 3 : le paywall, et quatre semaines de listes du lundi
À la semaine 5, leur équipe a placé l'abonnement annuel en tête du paywall. Un abonné annuel paie toute l'année dès le premier jour, donc une partie de ce qui a suivi est un effet de calendrier, près de la moitié de la hausse du J0 sur la courbe de cohortes ci-dessous.
Le paywall était l'une des quatre choses arrivées pendant ces semaines. Les campagnes reconstruites ont terminé leur apprentissage avec l'enchère sur la valeur, 8 des 11 ad sets dépassant 50 événements d'achat par semaine à la semaine 4. Les annonces perdantes sortaient chaque lundi. Le budget bougeait selon les retours à J14, comparés au seuil de payback à 90 jours, toujours en une seule fois. Et les nouveaux concepts passaient par le filtre avant de toucher une campagne principale. Le ROAS J0 s'est établi à 2,2 fois le niveau de départ pendant les deux premières semaines après le paywall, puis à 2,6 fois pendant les deux semaines suivantes, et le ROAS d'achat hebdomadaire de Meta a grimpé trois semaines de suite. Le paywall a changé une seule fois, en une seule semaine, et le retour a continué de grimper pendant trois semaines après lui. C'est à cela que servaient les listes.
Le retour continue de croître pendant des mois
Une cohorte continue de payer longtemps après l'install. Sur les cohortes du printemps précédant le travail, le retour à J7 valait environ deux fois le J0, 2,7 fois à J28 et 4,3 fois à 16 semaines, et il monte encore quand les données s'arrêtent. Le paywall annuel a changé la forme de la courbe. Une plus grande part de l'argent d'une cohorte arrive désormais dès le premier jour, donc les cohortes d'après le paywall se situaient à 1,5 fois le J0 à J14, contre 2,0 avant, et les deux courbes figurent dans le graphique.
| Jours | Cohortes du printemps | Cohortes avant le paywall | Cohortes après le paywall |
|---|---|---|---|
| 0 | 1,0x | 1,2x | 2,3x |
| 1 | 1,1x | 1,4x | 2,5x |
| 3 | 1,3x | 1,5x | 2,6x |
| 7 | 1,9x | 2,2x | 3,3x |
| 14 | 2,2x | 2,5x | 3,5x |
| 28 | 2,7x | 3,2x | |
| 56 | 3,4x | ||
| 84 | 3,8x | ||
| 112 | 4,3x |
Les nouvelles créas sont passées par un filtre
Entre avril et le début de septembre, 58 codes de concept ont dépensé de l'argent sur le compte, et 15 d'entre eux sont arrivés dans les campagnes principales sans test. Les nouvelles annonces entraient directement dans les ad sets principaux et prenaient du budget aux annonces qui y fonctionnaient déjà.
À partir de la semaine 5, chaque nouveau concept est passé par un test d'install peu coûteux, puis par un test d'achat. À partir de la semaine 6, ceux qui réussissaient obtenaient un ad set à eux dans chaque campagne principale avant de rejoindre les annonces éprouvées. Le nombre de nouvelles annonces arrivant dans les ad sets principaux est tombé de plusieurs dizaines par semaine à une poignée. Les traductions demandaient une règle à part. Environ les deux tiers des versions traduites lancées le premier mois ont à peine diffusé, et le résultat d'une annonce en anglais ne disait rien de ce que donneraient ses traductions, alors j'ai demandé à l'équipe de ne traduire une annonce qu'après qu'elle avait fait ses preuves.
- Test d'installUn ad set par concept, dans un marché peu coûteux
- Test d'achatJugé sur les acheteurs
- Ad set dédiéDans chaque campagne principale, dès la semaine 6
- Ad sets principauxAux côtés des annonces éprouvées
Deux bonnes semaines avant de scaler un concept
Le seuil à franchir vient de l'historique du compte. Environ trois annonces sur quatre qui ont devancé de plus de 20 pour cent les annonces comparables en une semaine sont restées devant elles sur toute leur durée de vie. Parmi les annonces qui y sont arrivées en deux semaines distinctes, 91 pour cent sont restées devant. La première étape de ce type de test est détaillée sur ce site.
Ce que les chiffres incluent
L'événement d'achat de Meta sur ce compte inclut aussi les renouvellements, donc son ROAS se lit d'abord comme le score propre à Meta. Les deux périodes tombent pendant le travail, et la baisse de dépense était une décision de l'équipe. La hausse à partir de la semaine 5 est arrivée pendant les mêmes semaines que leur paywall, la fin de l'apprentissage des campagnes et les listes hebdomadaires, et aucun test sur le compte ne permet de départager les trois.
Ce que cela montre
Leur équipe a fait chaque modification dans le compte, à partir d'une liste que j'écrivais chaque semaine d'après les données de Meta, d'Adjust et du paywall. Cette répartition convient à une équipe qui a déjà des personnes dans le compte publicitaire et qui a besoin de quelqu'un pour trancher.
Dans les mots du client
We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.
In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.
He is someone I trust. He has always been the first person we call.
Questions fréquentes
Quelle part du résultat de Jukebox vient des campagnes ?
La refonte a fait monter le ROAS J0 d'environ un quart avant que quoi que ce soit d'autre change, et il a tenu pendant la baisse de budget de l'équipe. La hausse jusqu'à 2,4 fois le niveau de départ est arrivée pendant les quatre semaines où le paywall annuel de l'équipe, la fin de l'apprentissage des campagnes reconstruites avec l'enchère sur la valeur et les listes hebdomadaires sont arrivés en même temps. Près de la moitié de la hausse du J0 vient des abonnements annuels payés d'avance, et le retour a continué de grimper pendant trois semaines après le changement du paywall, donc les listes ont fait une partie du travail. Personne ne peut séparer ces effets exactement.
Pourquoi avoir ramené Jukebox de 50 campagnes à six ?
Meta apprend à l'intérieur de chaque ad set et attend environ 50 événements d'achat par semaine avant de sortir de la phase d'apprentissage. Avec 63 ad sets, aucun n'y arrivait. À la semaine 4, 8 des 11 ad sets y arrivaient, et ils portaient environ 90 pour cent de la dépense.
Avez-vous géré vous-même les campagnes de Jukebox ?
Leur équipe a construit et géré chaque campagne. J'ai rédigé le plan et envoyé la liste des modifications chaque lundi.
Pourquoi le coût par install a-t-il augmenté sur Jukebox ?
Les installs bon marché venaient de pays qui payaient rarement. L'enchère sur la valeur d'achat a obtenu environ trois fois moins d'installs pour le même argent, et davantage d'entre eux payaient.