383K $’lık Meta tROAS harcamasını ülke ülke audit ettim. Bunun %7’si algoritmanın tam da optimize ettiği metrikte başarısız oluyordu ve bunu yakalamak zordu.
tROAS hedefini tutturan bir kampanyanın içinde bir yerde, bir ülke üç aydır %28 All ROAS ile çalışıyordu. O kadar büyük, o kadar uzun süren bir farkı görmek beni şok etti. Hedef %70’ti ve hiçbir dashboard bunu işaretlemedi. Ben aradığım için buldum.
Bu, o audit’in ve ondan çıkan puanlama çerçevesinin hikâyesi.
Kurulum
Meta’da çalışan bir subscription uygulaması. Platforma ve geo tier’a göre bölünmüş beş tROAS kampanyası vardı. Dönem 1 Mart ile 29 Mayıs arasıydı. 200’den fazla ülkeye ve bolca ad set’e yayılan harcama 383K $ tuttu.
Aynı rakamları aynı şekilde okuyalım diye kısa bir sözlük. tROAS, Meta’nın toplam bir ROAS hedefine göre teklif vermesi demektir. O hedef, algoritmanın iş tanımıdır. D0 ROAS benim erken sinyalim. Bu uygulamada ilk gelirin çoğu install gününde geliyor, bu yüzden D0 size bir cohort’un mantıklı olup olmadığını hızla söyler. Bunu 38 başka Meta kampanyasında test ettiğimde, D0 ROAS, D28 ROAS’ı satın alma başına maliyetten daha iyi öngördü.
Kampanyaları çoğu ekibin yaptığı gibi, hedefe karşı blended ROAS ile değerlendirdim. Bu rakam bütün çeyrek boyunca hedefte görünüyordu.
Tek bir blended rakam her şeyi gizliyor
O dönemdeki Tier1 iOS kampanyasının blended D0’ı %26’ydı. İçinde şunlar vardı:
| Ülke | D0 ROAS | All ROAS | Neler oluyordu |
|---|---|---|---|
| Fransa | %49 | %66 | Güçlü, ama All ROAS çeyrek boyunca %57'den %40'a düştü |
| ABD | %23 | %62 | Hedefin altında ve 49K $ ile kampanyada en çok harcayan ülke |
| Almanya | %16 | %31 | Üç ay üst üste hedefin altında, yerinde sayıyor |
Blended D0 %26 diyor. İçindeki ülkeler başka bir şey söylüyor.
Üç farklı durum tek bir blended rakamın içinde saklanıyordu. Kabullenmesi zor olan, algoritmanın bunu umursamıyor gibi görünmesi.
Algoritma bunu neden düzeltmemiş olabilir
tROAS, bir ad set’in hedeflediği bütün ülkelerin ortalaması olan tek bir blended hedefe göre çalışır. Meta teklif verirken konumu kullanabilir, ama hedefte her ülkeyi %70’te tutmasını isteyen hiçbir şey yok.
Yani kötü bir ülke, blended bakıldığında iyi görünen bir kampanyanın içinde saklanıyor. Kampanyası %70 gösterirken %28 All ROAS ile çalışan o ülke, hedefin kendisinde, yani algoritmanın tam da optimize ettiği metrikte başarısız oluyordu. D0 bunu erken işaretledi, All ROAS onayladı ve kampanya seviyesindeki rakam hiç kıpırdamadı.
İyi ülkeler kötülerin yükünü taşır. Blend vasat kalır ve vasat, işlerin normal gittiği izlenimini verir.
Algoritmayı sorgulamıyorum. Algoritma tek bir blended rakama göre çalışır, ülke başına ayrı bir rakama göre hiçbir zaman çalışmaz; bu yüzden ülkeleri elle kontrol etmek size düşer. Yaş ya da cinsiyet gibi diğer breakdown’lar normal görünüyordu, o yüzden bu beni hazırlıksız yakaladı.
Çerçeve: iki metrik, üç renk, üç kova
Hangi ülkeleri tutacağıma, hangilerini keseceğime karar vermek için bu puanlama sistemini kullandım. Bir ülke breakdown export’u ve ayda yaklaşık otuz dakika yeter.
Adım 1: her metriği bağımsız olarak puanlayın
Her ülkeye iki not veriyorum, biri D0 ROAS için, biri All ROAS için. Her not, kampanyanın hedefinden çıkarılan bantlara göre yeşil, sarı ya da kırmızı oluyor. Bu uygulamanın bantları %70’lik tROAS hedefinden geldi. Yeşil All ROAS hedefte başlıyor; D0 bantları ise geçmişte hedefin tutturulduğu durumlarda görülen seviyelerden geliyor. Yapıyı çalın, ama rakamları kendi hedefinizden ve D0’dan All ROAS’a giden kendi eğrinizden çıkarın.
D0 size, benim baktığım erken sinyali verir. All ROAS size gerçeği verir, yani kampanyanın optimize ettiği şeyi. Burada All ROAS, kampanyanın attribution penceresi içinde Meta’nın raporladığı purchase ROAS’ı anlamına gelir. Onu kampanyanın kendi attribution penceresi ve value tanımıyla çekin, yoksa hedefle karşılaştırma daha başlamadan yanlış olur. %25 D0 ve %80 All’daki bir ülke ile %25 D0 ve %30 All’daki bir ülke bambaşka durumlardır ve tek bir metrik ikisini birbirine karıştırır.
Adım 2: üç kovada birleştirin
Yeşil 2 puan, sarı 1, kırmızı 0 puan alır. İki metriği toplayın.
| D0 notu | All ROAS yeşil (2) | All ROAS sarı (1) | All ROAS kırmızı (0) |
|---|---|---|---|
| Yeşil (2) | 4, İyi | 3, İyi | 2, İzle |
| Sarı (1) | 3, İyi | 2, İzle | 1, Çıkar |
| Kırmızı (0) | 2, İzle | 1, Çıkar | 0, Çıkar |
İyi (3 veya 4): tutun, dokunmayın. İzle (2): aylık kontrol edin. Çıkar (1 veya 0): algoritma bunu düzeltmez, çünkü blended hedef yine de iyi görünür.
Adım 3: zaman boyutunu ekleyin
Ortalamalar yönü gizler. İki ülke çeyrek için aynı değerlendirmeyi alıp zıt yönlerde hareket ediyor olabilir.
Worldwide kampanyadaki PH’nin D0’ı %33’ten %24’e, oradan %17’ye geriledi; kampanyanın %70 tutturduğu bir ayda All ROAS %28’deydi. GB, Nisan’da %17’ye düşüp Mayıs’ta %29’a geri döndü ve All ROAS bu sürenin tamamında hedefe yakın seyretti. Değerlendirme aynı, gidişat zıt. Aylık görünüm hangisine sabretmeye değdiğini söyler.
Adım 4: buna göre hareket edin
Üç ay boyunca iki metrikte de kırmızı kalan ve arkasında anlamlı harcama olan ülkeleri hariç tutun. 200’den fazla ülke varken birkaçı tesadüfen kırmızı görünecektir, bu yüzden üç ay bekliyorum. Herhangi bir şeyi değerlendirmeden önce bir harcama eşiği belirleyin, çünkü arkasında 80 $ olan bir ülkenin ROAS’ı karar vermek için fazla gürültülüdür. Aynı soruyu reklamlar için de sordum ve bir hesapta bir reklam 50 veya daha fazla satın almaya ulaştığında ROAS sonraki haftayı en iyi tahmin etti. Aynı yaştaki cohort’ları bu eşikle, ülke ülke nasıl okuduğumu hangi cohort’ların gerçekten geri ödediği yazısında anlatıyorum. Sarıları izleme listesine alın ve aylık yeniden kontrol edin. İyi kovasına dokunmayın. Bir ülkeyi hariç tuttuktan sonra, ertesi ay kampanyanın tamamını blended ROAS’ına ve hacmine göre değerlendirin, çünkü bütçe diğer ülkelere kayar.
Ortaya çıkardığı şey
Bunların hiçbiri kampanya seviyesinde görünmez.
Tam dolu çubuk harcamanın %50'si olur. Bir subscription uygulaması, beş tROAS kampanyası, 1 Mart'tan 29 Mayıs'a.
Bu kırmızı gruptaki en büyük üçü şunlar: worldwide kampanyada PH (%21 D0’da 7,1K $), Android’de MX (%23’te 6,2K $), Tier1’de DE (%16’da 2,1K $).
O 27,6K $, biri elle bakana kadar olduğu yerde duruyor. Hiçbir uyarı tetiklenmiyor ve Ads Manager’da hiçbir şey kırmızıya dönmüyor. Bu yaşanırken kampanya görünümü her şeyin yolunda olduğunu söylüyordu. Blended hedefinizin böyle bir ülkeyi saklayıp saklamadığından emin değilseniz, bir hesapta bunu growth audit içinde kontrol ediyorum. Growth audit’i her harcama seviyesinde tek başına alabilirsiniz.
O ülkeleri hariç tutmak 27,6K $’ı da geri kazandırmaz. Harcama diğer geo’lara kayar, oradaki maliyetler ve hacim de onunla birlikte hareket eder.
Çıkarım
Algoritma alıcıları bulmakta iyidir. Bu hesapta, dönüşmeyi bırakan geo’ları terk etmekte iyi değildi. Aynı şeyi reklamlarda da gördüm, orada Meta, D0 hedefine hiç ulaşmayan beş reklamı ölçeklendirmeye devam etti.
Tüm sistem dört satıra sığar:
- İki metrik: hız için D0, gerçek için All ROAS.
- Metrik başına, kendi hedefinize göre puanlanan üç renk.
- Üç kova: tut, aylık kontrol et, çıkar.
- Aylık tek bir takvim hatırlatıcısı.
Bu audit’i hesabınızda ikinci bir çift gözün yapmasını tercih ederseniz, gelen kutum açık.