モバイルアプリとゲームのUA向けクリエイティブテストシステム

なぜクリエイティブテストは場当たり的に感じられるのか

モバイルアプリとゲームのクリエイティブテストが場当たり的に感じられるのは、稼働中のキャンペーンの中で広告を比較し、テストではなくプラットフォームが誰に何を見せるかを決めているときです。Meta、Google、TikTokは、自社のモデルが成果を期待する広告に予算を振り向けるため、早く抜け出した広告が支出を独占し、残りは公平なサンプルを得られないまま終わります。返ってくるのは、アイデアの順位ではなく配信の順位です。1バージョンにつき3つの要素を変えれば、何も次のラウンドに引き継がれません。ランダムさの原因は、設計そのものにあります。

Gordon、Zettelmeyer、Bhargava、Chapskyは15件のFacebook実験を観察的な推定値と比較し、その推定値が実験結果を再現できないケースが多いことを明らかにしました。つまり、ダッシュボード上の勝者が本物の勝者だとは限りません。だからこそ、大きなバッチに対する最初の読みは、あくまでスクリーニングにすぎません。エリミネーションラウンドでは、すべての広告を専用のインストールキャンペーンで同時にスタートさせて支出を読み、最終判断は売上が出るまで待ちます。Metaがスケールし続けていた5本の広告を私が外したとき、アルゴリズムはその5本がついに届かなかった水準を超える、新たな6本のクリエイティブを浮かび上がらせました。

なぜクリエイティブのイテレーションが十分に速くないのか

モバイルアプリやゲームのUAチームがクリエイティブのイテレーションを十分な速さで回せないのは、たいていループの中に引き継ぎがあるからです。広告が疲弊したのを見た人がブリーフを書き、ブリーフはスタジオの順番待ちになり、スタジオはポートフォリオから推測で作り、次のバージョンが届く頃には勝ったものはすでに色褪せています。制約となっているのはクリエイティブの供給であり、そのボトルネックは制作スピードではなく、次に何を作るかを決めることにあります。速いイテレーションとは、支出配分を読む人間が、ブリーフもアカウントマネージャーも介さずに、勝ったものの次のバージョンを自分で書くことを意味します。

私が運用しているのはこの形です。各ラウンドは書面での読み解きで終わり、次のアイデアはそこから生まれ、勝ったものはきちんとしたバージョンになり、負けたものは二度と作られません。Horse Racing Solitaireでは、1つのアカウントを通じて5か月間で175本の広告が走り、14本がインストール単価£1.00未満でした。外部スタジオの広告がブリーフだけを共有してアカウントには参加しなかったとき、Metaはその予算配分を22日間で30%から4.5%まで削っていきました。広告制作はまずテスト版を作り、勝ったものだけを仕上げます。

クリエイティブテストシステムはどう構築するのか

アプリとゲームのUA向けクリエイティブテストシステムには5つの要素があります。2つのレベルのテスト。大きく異なるコンセプトを、購入という指標に対してアイデア全体として判断するテストと、1つのコンセプトの複数バージョンについて、名前を付けた1つの変数だけを基準となるバージョンに対して変え、勝敗から学びを得られるようにするテストです。すべての広告に同じスタートラインを与える構造。専用のインストールキャンペーンでテスト版を走らせ、すべての広告を同時に起動し、支出をスクリーニングのシグナルとして読み、予算には手を加えません。配信開始前に書いておく判断ルール。指標、支出の上限、レビュー期間、そして何を判断不能とみなすかです。テストした変数と判断内容を添えた、すべての広告の記録。そして、勝ったものだけをきちんと作り直す制作部門です。

最初の3つは、購入で検証できる数より多くのバージョンを抱えるアカウントで私が使う運用方法です。バッチが小さければ、そのまま購入テストに進み、エリミネーションラウンドは予算の計算式とともに手順ごとに公開しています。ほとんどのチームが省いてしまうのが記録です。ラウンドごとに各広告の支出、インストール数、初期の挙動、判断を記録し、そこには変わった変数と次の仮説も必要です。ルールが先にあることが重要です。Johari、Koomen、Pekelis、Walshは、テストを繰り返し確認して最初に有意な結果が出た時点で止めることが、偽陽性を増やすことを示しました。私は判断を売上で読みます。同じIPMとCPIの裏で、インストールから購入への転換率が5%のこともあれば20%のこともあるからです。

UGCとAIGCはクリエイティブテストシステムのどこに位置づけられるのか

UGCとAIGCは、アプリとゲームのクリエイティブテストシステムの中でテストするフォーマットであり、それ自体が答えではありません。クリエイターが自分のスマートフォンで撮った映像は、広告というより投稿として受け取られ、アプリの場合、フックはたいてい何かを見せる前に誰かが自分の言葉で問題を言い当てることです。AI映像には撮影という工程がないため、誰も撮影する前に3パターンの冒頭のセリフを実際のオーディエンスの前に出せます。どちらもデフォルトで勝つわけではありません。クリエイターによる推奨の効果を示す根拠はクリエイター、プロダクト、プラットフォームによって差があり、AIで制作した広告についての根拠はまだ初期段階で、測定しているのは課金者ではなくエンゲージメントです。

AI映像が訴求を見つけ、勝った訴求をクリエイターが撮影し、プロダクトそのものが売りになる場面ではゲームプレイやアプリのキャプチャが先導します。どの組み合わせにするかは、アカウントの読み解きが決めます。EatBetterでは、paid UAとして配信したクリエイターコンテンツが、2か月で月間経常収益を$10Kから$180Kまで伸ばしたエンジンでした。Barari、Eisend、Jainによる135件の実験のレビューは、クリエイターによる推奨が平均してエンゲージメントと購入意向を高めることを示しています。Kapoor、Kumarのフィールド実験では、パーソナライズされた生成映像がある小売業者の既存顧客のエンゲージメントを高めましたが、パーソナライゼーションとAIの効果は切り分けられておらず、インストールについては何も測定していません。アプリ向けUGC広告とAI UGC広告もご覧ください。

クリエイティブテストシステムを構築する専門家は何をするのか

モバイルアプリとゲームのクリエイティブテストシステムを構築する専門家は、ループを設計し、それを運用し、動き続ける状態にして引き渡します。具体的には、アカウントがこれまで評価してきたものからコンセプトを書き、各バージョンでどの変数をテストするかを決め、すべての広告に同じスタートラインを与えるようテストを設計し、虚栄の指標ではなく支出を読み、予算を食いつぶす前に負けクリエイティブを止め、次のラウンドの出発点となる読み解きを書くことです。社内チームの育成も含まれます。一人の頭の中にしかない仕組みは、仕組みとは呼べないからです。すべてのアセットを制作するのは、また別の仕事です。

私はこれを、UAのretainerの中で行ってきました。広告は私が運用するキャンペーンの中でテストされます。Deutsche Telekomでは、社内のクリエイティブテストのプロセスを構築し、チームが自力でUAを運用できるように育成しました。また広告制作を通じても行っており、そこでは広告と一緒に読み解きが届きます。私が新しく開くアカウントの大半では、クリエイティブの供給が最大の制約になっています。だからこそ、Growth Auditでは、何がテストされ、何が未検証のまま出稿され、支出と虚栄の指標のどちらが勝者を選んでいるかを読み解きます。

なぜクリエイティブテストとパフォーマンスマーケティングを一人から買うべきなのか

クリエイティブテストとパフォーマンスマーケティングを一人から買うことで、クリエイティブの学びの大半が失われる引き継ぎの部分がなくなります。支出配分を読む人間が、次のコンセプトを書きます。コンバージョンシグナルを設定した人間だからこそ、安いインストール広告が、課金者をもたらしたより高価な広告に負けた理由がわかります。これらの仕事をスタジオ、代理店、バイヤーに分けてしまうと、それぞれが常にデータより古いドキュメントを互いに渡し合うことになります。オーナーが一人であれば速く、読み解きも正直になります。ROASの責任を負うのが同じ人間だからです。

retainerの中で、私自身が媒体を買い、シグナルを所有し、クリエイティブのループを運用します。制作がスコープに含まれる場合は、私のネットワークが広告を制作します。あるサブスクリプションアプリのアカウントでは、917本の広告にわたって、コンセプトとそのバリエーションがROASのばらつきの25.2%を説明し、言語は4.8%でした。これは、クリエイティブの記録と売上が同じ人間の手元にあって初めて得られる読み解きです。Signal Engineeringが先に来るのは、壊れたデータの上でテストのループを回せば、間違った勝者をより速く見つけてしまうからです。モバイルゲーム向けpaid UAとサブスクリプションアプリ向けpaid UAで、プロダクトによってループがどう変わるかを説明しています。

よくある質問