Systèmes de tests créatifs pour l'UA des applications et des jeux mobiles

Pourquoi les tests créatifs semblent-ils relever du hasard?

Les tests créatifs pour les applications et les jeux mobiles semblent relever du hasard quand une équipe compare ses publicités à l'intérieur d'une campagne active et que c'est la plateforme, pas le test, qui décide qui voit quoi. Meta, Google et TikTok orientent le budget vers les publicités que leurs modèles jugent les plus prometteuses, si bien que la première en tête capte la dépense et que les autres n'obtiennent jamais un échantillon équitable. Ce qui en ressort, c'est un classement de diffusion, pas d'idées. Changez trois éléments par version et rien ne se reporte au round suivant. Le hasard vient de la structure du test.

Gordon, Zettelmeyer, Bhargava et Chapsky ont comparé quinze expériences Facebook à des estimations observationnelles et ont constaté que ces estimations ne reproduisaient souvent pas les résultats de l'expérience, donc un gagnant de tableau de bord n'en est pas automatiquement un vrai. C'est pourquoi la première lecture d'un grand lot n'est qu'un tri: le round d'élimination fait démarrer toutes les publicités ensemble dans une campagne d'installation dédiée et lit la dépense, et le verdict attend le chiffre d'affaires. Quand j'ai retiré les cinq publicités que Meta continuait de mettre à l'échelle, l'algorithme a fait remonter six nouvelles créations au-dessus d'une cible que ces cinq-là n'avaient jamais atteinte.

Pourquoi n'itérons-nous pas assez vite sur la création?

Une équipe UA d'application ou de jeu mobile n'itère généralement pas assez vite sur la création publicitaire parce que la boucle contient un transfert. La personne qui voit une publicité s'essouffler écrit un brief, le brief attend un studio, le studio devine à partir d'un portfolio, et la version suivante arrive après que le gagnant s'est déjà essoufflé. L'approvisionnement en création est la contrainte, et le goulot d'étranglement à l'intérieur, c'est de décider quoi fabriquer ensuite, pas la vitesse de production. Itérer vite veut dire que la personne qui lit la répartition de la dépense écrit elle-même la version suivante du gagnant, sans brief ni chargé de compte entre les deux.

C'est la forme que je fais tourner: chaque round se termine par une lecture écrite, les idées suivantes en découlent, les gagnants deviennent des versions et les perdants ne sont pas refaits. Sur Horse Racing Solitaire, 175 publicités sont passées par un seul compte en cinq mois, dont quatorze sous 1,00 £ par installation. Quand les publicités d'un studio externe se sont jointes avec un brief mais pas avec l'accès au compte, Meta a fait descendre sa part de budget de 30 % à 4,5 % en 22 jours. La production publicitaire fabrique d'abord des versions de test et ne finalise que le gagnant.

Comment bâtir un système de tests créatifs?

Un système de tests créatifs pour la UA d'applications et de jeux comporte cinq parties. Deux niveaux de test: des concepts très différents les uns des autres, jugés comme des idées complètes sur les achats, et des versions d'un même concept où une seule variable nommée change par rapport à un témoin, pour qu'une victoire enseigne quelque chose. Une structure qui donne à chaque publicité le même départ: des versions de test dans une campagne d'installation dédiée, toutes les publicités lancées ensemble, la dépense lue comme signal de tri, les budgets non touchés. Une règle de décision écrite avant le lancement: la métrique, le plafond de dépense, la fenêtre de révision, ce qui compte comme non concluant. Un registre de chaque publicité avec la variable testée et la décision. Et un volet production qui ne refait que les gagnants.

Les trois premières, c'est comment je gère des comptes avec plus de versions que les achats ne peuvent en valider; les lots plus petits passent directement au test sur achats, et le round d'élimination est détaillé avec le calcul des budgets. La plupart des équipes sautent le registre: le round consigne la dépense, les installations, le comportement précoce et la décision de chaque publicité, et le registre a aussi besoin de la variable qui a changé et de l'hypothèse suivante. La règle vient en premier: Johari, Koomen, Pekelis et Walsh ont montré que vérifier un test à répétition et s'arrêter à la première lecture significative gonfle les faux positifs. Je lis le verdict sur le chiffre d'affaires, puisque le même IPM et le même CPI peuvent cacher un taux d'installation à achat de 5 % ou de 20 %.

Où se situent l'UGC et l'AIGC dans un système de tests créatifs?

L'UGC et l'AIGC sont des formats à tester à l'intérieur d'un système de tests créatifs pour applications et jeux, pas des réponses en soi. Un créateur avec son propre téléphone se lit comme une publication plutôt que comme une publicité, et pour une application, l'accroche consiste généralement à ce que quelqu'un nomme le problème avec ses propres mots avant même de montrer quoi que ce soit. Les images générées par IA n'ont pas de tournage derrière elles, ce qui permet de mettre trois phrases d'ouverture devant un vrai public avant même qu'on ait filmé quoi que ce soit. Ni l'un ni l'autre ne gagne par défaut: les preuves sur l'endossement par un créateur varient selon le créateur, le produit et la plateforme, et les preuves sur les publicités faites par IA sont récentes et mesurent l'engagement, pas les payeurs.

Les images générées par IA trouvent l'affirmation qui accroche, un créateur tourne l'affirmation qui a gagné, et la capture de gameplay ou d'application mène la danse partout où le produit se vend de lui-même; la lecture du compte décide du mélange. Chez EatBetter, du contenu de créateurs diffusé en payant a été le moteur derrière un revenu récurrent mensuel passant de 10 000 $ à 180 000 $ en deux mois. La revue de 135 expériences menée par Barari, Eisend et Jain a montré que l'endossement par un créateur augmente en moyenne l'engagement et l'intention d'achat; l'expérience de terrain de Kapoor et Kumar a montré qu'une vidéo générative personnalisée augmentait l'engagement chez la clientèle existante d'un détaillant, sans distinguer la personnalisation de l'IA, et sans rien mesurer sur les installations. Voir les publicités UGC pour applications et les publicités UGC par IA.

Que fait une personne spécialiste qui bâtit des systèmes de tests créatifs?

Une personne spécialiste qui bâtit des systèmes de tests créatifs pour applications et jeux mobiles met en place la boucle, la fait tourner, et la laisse tourner. Ça veut dire écrire des concepts à partir de ce que le compte a récompensé, décider quelle variable chaque version teste, structurer le test pour que chaque publicité ait le même départ, lire la dépense plutôt que des indicateurs de vanité, éliminer les perdantes avant qu'elles n'engloutissent le budget, et écrire la lecture à partir de laquelle démarre le round suivant. Ça veut aussi dire former l'équipe interne, parce qu'un système qui n'existe que dans une seule tête n'est pas un système. Produire chaque actif est un travail différent.

J'ai fait ça à l'intérieur d'un retainer UA, où les publicités sont testées dans les campagnes que je gère; chez Deutsche Telekom, où j'ai bâti le processus interne de tests créatifs et formé l'équipe à gérer l'UA de façon autonome; et par la production publicitaire, où la lecture revient avec les publicités. L'approvisionnement en création est la contrainte limitante dans la plupart des comptes que j'ouvre, c'est pourquoi le growth audit lit ce qui a été testé, ce qui a été lancé sans test, et si c'est la dépense ou des indicateurs de vanité qui désignent les gagnants.

Pourquoi acheter les tests créatifs et le marketing de performance auprès d'une seule personne?

Les tests créatifs et le marketing de performance venant d'une seule personne éliminent le transfert où se perd la majorité de l'apprentissage créatif. La personne qui lit la répartition de la dépense écrit le concept suivant. La personne qui a mis en place le signal de conversion sait pourquoi une publicité à installation bon marché a perdu contre une autre, plus chère, qui a apporté des payeurs. Répartissez ces tâches entre un studio, une agence et une personne qui achète les médias, et chacun remet aux autres un document toujours plus vieux que les données. Un seul responsable est plus rapide et la lecture est honnête, parce que la même personne répond du ROAS.

Sur un retainer, j'achète les médias, je possède le signal et je fais tourner la boucle créative, et mon réseau fabrique les publicités quand la production est incluse dans le mandat. Sur un compte d'abonnement, le concept et sa variante expliquaient 25,2 % de la variation du ROAS sur 917 publicités, et la langue 4,8 %, une lecture qu'on n'obtient que lorsque le registre créatif et le chiffre d'affaires relèvent de la même personne. Signal Engineering vient en premier, parce qu'une boucle de test sur des données brisées trouve de mauvais gagnants plus vite; la Paid UA pour jeux mobiles et pour applications d'abonnement expliquent comment la boucle diffère selon le produit.

Questions fréquentes