Jukebox AI, TwoWise'ın yapay zeka ile şarkı üreten uygulaması ve aylık reklam bütçesi altı haneli. Hesapta 50 kampanya harcama yapıyordu. Ekipleri ilk hafta hesabı benim planıma göre altı kampanyaya yeniden kurdu, sonra her pazartesi gönderdiğim bir listeye göre yönetti. 4. haftada bütçeyi kıstılar, 5. haftada paywall'da yıllık planı öne aldılar. Sekiz hafta sonunda ana kampanyalarda D0 ROAS, başlangıçtakinin 2,4 katıydı.

Bu, kendi kampanyalarını yürüten bir ekibin yanındaki fractional Head of UA'nın ve bir abonelik uygulamasının reklam sonuçlarını paywall'la birlikte okumanın vakası. Grafik, her değişiklikten sonraki rakamı gösteriyor.
Başlangıç noktası
Çalışmadan önceki ayda hesap, kreatif ve web testleri dışında 50 ayrı kampanyaya harcama yaptı. Bir haftada en fazla 34 kampanya harcama yapıyordu ve bunların arasında 63 ad set vardı. Neredeyse hepsi satın alma sayısına göre optimize edilmiş, her birinde birkaç dil olan dünya geneli kampanyalardı. Harcama bu kadar ince dağılınca hiçbir ad set haftada 50 purchase event'ine ulaşamadı. Bu, Meta'nın kendi satın alma sayımı ve bir ad set'in öğrenme aşamasından çıkması için aradığı sayı. Meta da parayı satın almanın en ucuz olduğu ülkelere yönlendirdi. Bu kampanyalardan birinin içinde ülkelerin en iyi dörtte biri, Meta'nın 7 günlük rakamlarında en kötü dörtte birinin dört katından fazla getiri sağladı.
Ana kampanyalarda D0 ROAS, yazın başından beri yaklaşık yüzde 30 düşmüştü ve Meta'nın haftalık purchase ROAS'ı ilkbahardan beri yarıya inmişti. Jukebox haftalık ve yıllık planların yanında ek kredi de satıyor, bu yüzden bir kohortun getirisi install'dan sonra aylarca büyümeye devam ediyor ve bu sayfadaki her 0. gün rakamı erken bir okuma.
Nasıl çalıştık
Hesabı ve ürünü ekipleri yönetiyordu. Ben onların Meta ve Adjust verisiyle çalıştım ve 3. haftadan itibaren her pazartesi durdurulacak reklamları ve kaydırılacak bütçeleri içeren bir liste gönderdim. Bir sonraki pazartesi de listeyi gerçekte yayına alınanla karşılaştırdım.
D0 ROAS, adım adım
| Dönem | Endeks | Öncesindeki değişiklik |
|---|---|---|
| Önceki ay, endeks 100 | 100 | Çalışmadan önce |
| Yeni yapıdan sonra, 2. ve 3. hafta | 124 | Benim planım, ekipleri kurdu |
| Bütçe kesintisinden sonra, 4. hafta | 121 | Ekibin kendi değişikliği |
| Paywall, ilk iki hafta, 5. ve 6. hafta | 224 | Ekibin paywall'ı ve haftalık listelerim |
| Sonraki iki hafta, 7. ve 8. hafta | 258 | Haftalık listeler, paywall aynı |
Rakamlar
Dörder haftalık iki pencerede, ikincisi ilk ayın sonunda başlamak üzere, Meta yüzde 13 daha az harcamayla yüzde 51 daha fazla purchase value raporladı. Purchase ROAS yüzde 73, iOS'ta yüzde 65 ve Android'de yüzde 83 arttı. Purchase event sayısı yaklaşık aynı kaldı, yani kazanç her satın almanın değerinden geldi.
| İkinci dört hafta, ilkine göre | |
|---|---|
| Meta purchase ROAS, tüm kampanyalar | +%73 |
| iOS | +%65 |
| Android | +%83 |
| D0 ROAS, ana kampanyalar, Adjust | +%83 |
1. adım: 50 kampanyadan altıya
İlk hafta ekipleri benim planıma göre altı kampanya kurdu. iOS ve Android ayrı çalıştı, her biri ABD, Tier 1 pazarlar ve dünyanın geri kalanı olarak bölündü, diller de bunların içinde gruplandı. Altısı da purchase value üzerinden bid verdi, ertesi gün yayına girdi ve harcamanın neredeyse tamamını devraldı. 2. haftaya gelindiğinde hiçbir ana kampanya satın alma sayısı üzerinden bid vermiyordu. Hesabın geçmişinden 13 eşleştirilmiş karşılaştırmada, yani aynı pazar ve platform ama farklı bidding ile, value bidding 4. haftaya kadar her seferinde satın alma sayısı bidding'ini geçti.
Ad set'ler kampanyalarla birlikte azaldı, 4. haftaya kadar 63'ten 11'e indi ve tipik bir ad set haftada yaklaşık 10 purchase event'inden 60 ve üzerine çıktı. Böylece Meta'nın her birinde öğrenmeye yetecek kadar veri vardı.
Install başına maliyet kabaca üç katına çıktı, çünkü ucuz install'lar nadiren ödeme yapan ülkelerden geliyordu. D0 ROAS, hesapta başka hiçbir şey değişmeden yaklaşık dörtte bir arttı. Olduğu gibi bıraktığımız iki kampanya ise aynı haftalarda geriledi.
Hiçbiri haftada 50 purchase event'ine ulaşmadı.
8'i haftada 50 purchase event'ine ulaştı ve harcamanın yaklaşık %90'ını taşıdı.
| Hafta | Kampanya | Ad set | 50 veya daha fazla purchase event'i olan ad set'ler |
|---|---|---|---|
| Önceki ay | 34 | 63 | 0 |
| 4. hafta | 6 | 11 | 8, harcamanın yaklaşık %90'ı ile |
2. adım: bütçe kesintisi
4. haftada ekip beş kampanyanın bütçesini kıstı. Kesintiyi kohort verisine göre kampanya kampanya ben dağıttım ve D0 ROAS tuttu. Ertesi gün altı reklam durduruldu. Her biri, Meta'da her tam haftada ve Adjust'ta 0. ve 7. günde kendi ad set'indeki diğer reklamların gerisinde kalmıştı. Altısından üçü, üç ad set'te çalışan aynı kreatifti. Bu hesapta Meta o parayı kendiliğinden geri çekmedi. İlk ayda en çok geride kalan yedi reklamdan beşi ertesi hafta yine harcamalarının en az yarısını aldı, bu yüzden durdurma kararlarını pazartesi listesine elle koydum.
3. adım: paywall ve dört haftalık pazartesi listeleri
5. haftada ekipleri yıllık planı paywall'ın en önüne aldı. Yıllık planı alan kişi bütün yılın parasını ilk gün ödüyor, bu yüzden sonrasında olanın bir kısmı zamanlamadan geliyor. Aşağıdaki kohort eğrisine göre bu, 0. gün artışının yarısına yakın.
Paywall, o haftalarda devreye giren dört şeyden biriydi. Yeniden kurulan kampanyalar value bidding üzerinde öğrenmeyi tamamladı, 4. haftaya gelindiğinde 11 ad set'in 8'i haftada 50 purchase event'ini geçmişti. Kaybeden reklamlar her pazartesi durduruldu. Bütçe, 14 günlük getirilerin 90 günde payback çizgisine göre nerede durduğuna bakılarak kaydırıldı, hep tek hamlede. Yeni konseptler de ana kampanyaya dokunmadan önce elemeden geçti. D0 ROAS, paywall'dan sonraki ilk iki haftada başlangıç seviyesinin 2,2 katındaydı, ondan sonraki iki haftada 2,6 katındaydı ve Meta'nın haftalık purchase ROAS'ı üç hafta üst üste yükseldi. Paywall bir kez, tek bir haftada değişti ve getiri ondan sonra üç hafta daha yükselmeye devam etti. Listeler tam bunun için vardı.
Getiri aylarca büyümeye devam ediyor
Bir kohort install'dan çok sonra da ödemeye devam ediyor. Çalışmadan önceki ilkbaharın kohortlarında getiri 7. günde 0. günün yaklaşık iki katıydı, 28. günde 2,7 katı, 16. haftada 4,3 katı ve veri bittiğinde hâlâ yükseliyordu. Yıllık paywall eğrinin şeklini değiştirdi. Bir kohortun parasının daha büyük kısmı artık ilk gün geliyor, bu yüzden sonrasındaki kohortlar 14. güne kadar 0. günün 1,5 katındaydı, öncesinde 2,0 katıydı. İki çizgi de grafikte.
| Gün | İlkbahar kohortları | Paywall öncesi kohortlar | Paywall sonrası kohortlar |
|---|---|---|---|
| 0 | 1,0x | 1,2x | 2,3x |
| 1 | 1,1x | 1,4x | 2,5x |
| 3 | 1,3x | 1,5x | 2,6x |
| 7 | 1,9x | 2,2x | 3,3x |
| 14 | 2,2x | 2,5x | 3,5x |
| 28 | 2,7x | 3,2x | |
| 56 | 3,4x | ||
| 84 | 3,8x | ||
| 112 | 4,3x |
Yeni kreatif elemeden geçti
Nisan ile Eylül başı arasında hesapta 58 konsept kodu harcama yaptı ve bunlardan 15'i teste girmeden ana kampanyalara ulaştı. Yeni reklamlar doğrudan ana ad set'lere giriyor ve orada zaten işe yarayan reklamların bütçesini alıyordu.
5. haftadan itibaren her yeni konsept önce ucuz bir install testinden, sonra bir purchase testinden geçti. 6. haftadan itibaren geçenler, kanıtlanmış reklamlara katılmadan önce her ana kampanyanın içinde kendi ad set'ini aldı. Ana ad set'lere ulaşan yeni reklamlar haftada onlarcadan bir avuca düştü. Çeviriler için ayrı bir kural gerekiyordu. İlk ayda açılan çevrilmiş versiyonların yaklaşık üçte ikisi neredeyse hiç harcama almadı ve bir reklamın İngilizce sonucu çevirilerinin nasıl gideceği hakkında hiçbir şey söylemiyordu, bu yüzden ekipten bir reklamı ancak kendini kanıtladıktan sonra çevirmesini istedim.
- Install testiKonsept başına bir ad set, ucuz bir pazarda
- Purchase testiAlıcılara göre değerlendirildi
- Kendi ad set'iHer ana kampanyanın içinde, 6. haftadan itibaren
- Ana ad set'lerKanıtlanmış reklamların yanında
Bir konsept ölçeklenmeden önce iki iyi hafta
Geçme çıtası hesabın kendi geçmişinden geldi. Bir haftada diğer reklamları yüzde 20'den fazla geçen reklamların yaklaşık dörtte üçü, ömürleri boyunca onların önünde kaldı. Bunu iki ayrı haftada başaranların yüzde 91'i önde kaldı. Bu tür bir testin ilk aşaması bu sitede baştan sona yazılı.
Rakamlara neler dahil
Bu hesapta Meta'nın purchase event'i renewal'ları da sayıyor, bu yüzden buradaki ROAS'ı Meta'nın kendi skoru olarak okumak gerekiyor. İki pencere de çalışmanın içinde kalıyor ve düşük harcama ekibin kararıydı. 5. haftadan sonraki artış, ekibin paywall'ıyla, öğrenmesini tamamlayan kampanyalarla ve haftalık listelerle aynı haftalara denk geldi. Hesapta bu üçünü birbirinden ayırabilecek bir test yok.
Bunun anlamı
Hesaptaki her değişikliği ekipleri yaptı, ben her hafta Meta, Adjust ve paywall verisinden bir liste yazdım. Bu iş bölümü, reklam hesabında zaten insanı olan ve kararları verecek birine ihtiyaç duyan bir ekibe uyuyor.
Müşterinin kendi sözleriyle
We were spending a six-figure monthly ad budget on Jukebox and could not clearly see whether the money was coming back. In the two months we worked with Samet the campaigns were rebuilt by market and platform, and for the first time we could see which country and which campaign paid its money back.
In numbers: Meta reported a purchase ROAS of 0.32 in the four weeks before the new structure and 0.55 in the four weeks after, with 13% less spend. In Adjust, day-0 ROAS on the main campaigns went from 0.25 to 0.46. Part of that came from our own product work, we pushed the annual plan harder in the same period. Samet helped us read the two together, so we could tell what came from the campaigns and what came from the paywall.
He is someone I trust. He has always been the first person we call.
Sık sorulan sorular
Jukebox sonucunun ne kadarı kampanyalardan geldi?
Yeniden yapılandırma, başka hiçbir şey değişmeden D0 ROAS'ı yaklaşık dörtte bir artırdı ve ekibin bütçe kesintisi boyunca da korundu. Başlangıç seviyesinin 2,4 katına çıkış, ekibin yıllık paywall'ının, value bidding üzerinde öğrenmesini tamamlayan yeni kampanyaların ve haftalık listelerin hep birlikte devreye girdiği dört haftada geldi. D0 artışının yarısına yakını yıllık planların parayı peşin ödemesinden geliyor ve paywall değiştikten sonra da getiri üç hafta daha yükseldi, yani işin bir kısmını listeler yaptı. Bunu kimse tam olarak ayıramaz.
Jukebox neden 50 kampanyadan altıya indirildi?
Meta her ad set'in içinde öğreniyor ve bir ad set'in öğrenme aşamasından çıkması için haftada yaklaşık 50 purchase event'i arıyor. Satın almalar 63 ad set'e dağılınca hiçbiri oraya ulaşamadı. 4. haftaya gelindiğinde 11 ad set'in 8'i ulaştı ve harcamanın yaklaşık yüzde 90'ını taşıdı.
Jukebox kampanyalarını kendiniz mi yönettiniz?
Her kampanyayı ekipleri kurdu ve yönetti. Planı ben yazdım, değişiklik listesini her pazartesi gönderdim.
Jukebox'ta install başına maliyet neden yükseldi?
Ucuz install'lar nadiren ödeme yapan ülkelerden geliyordu. Purchase value üzerinden bidding, aynı parayla yaklaşık üçte bir kadar install aldı ve bunların daha büyük bölümü ödeme yaptı.