383K $’lık Meta tROAS harcamasını ülke ülke audit ettim. %7’si algoritmanın tam olarak optimize ettiği metrikte başarısız oluyordu ve bunu yakalamak zordu.
tROAS hedefini tutturan bir kampanyanın içinde bir yerde, bir ülke üç aydır %28 All ROAS ile çalışıyordu. Yani algoritmanın açıkça gevşediğini öğrenmek benim için bir şoktu. Hedef %70’ti, hiçbir dashboard bunu işaretlemedi, ama biz aramaya gittiğimiz için bulduk.
Bu, o audit’in ve ondan çıkan puanlama çerçevesinin hikayesi.
Kurulum
Meta’da bir subscription uygulaması. Platform ve geo tier’a göre bölünmüş beş tROAS kampanyası. 1 Mart’tan 29 Mayıs’a kadar. 200’den fazla ülke genelinde, bolca ad set ile 383K $’lık harcama.
Aynı rakamları aynı şekilde okuyalım diye kısa bir sözlük. tROAS, Meta’nın bir toplam ROAS hedefine doğru teklif verdiği anlamına gelir. O hedef, algoritmanın iş tanımıdır. D0 ROAS bizim erken sinyalimizdir: bu uygulamada, ilk gelirin çoğu kurulum gününde gelir, bu yüzden D0 size bir cohort’un mantıklı olup olmadığını hızla söyler.
Kampanyalar, çoğu kampanyanın değerlendirildiği şekilde değerlendirildi: hedefe karşı blended ROAS. O rakam tüm çeyrek boyunca tam isabetli görünüyordu.
Tek bir blended rakam her şeyi gizliyor
İşte o dönemden Tier1 iOS kampanyası. Blended D0: %26. İçinde:
| Ülke | D0 ROAS | All ROAS | Neler oluyordu |
|---|---|---|---|
| Fransa | %49 | %66 | Güçlü ama gerilemekte: All ROAS çeyrek boyunca %57'den %40'a düştü |
| ABD | %23 | %62 | Hedefin altında ve 49K $ ile kampanyadaki en büyük harcamacı |
| Almanya | %16 | %31 | Üç ay boyunca kesintisiz hedefin altında. Hiçbir yere gitmiyor |
Blended D0, %26 diyor. İçindeki ülkeler başka şey söylüyor.
Üç tamamen farklı durum. Tek bir blended rakam. Kabul etmesi zor olan kısım şu: algoritma umursamıyor gibiydi.
Algoritma bunu neden düzeltmemiş olabilir
tROAS, kampanya seviyesinde çalışır. Tek bir blended ROAS görür ve kampanyanın tamamında teklifleri ayarlar. Ülke başına ROAS, onun optimizasyon döngüsünün dışında kalır.
Yani kötü bir ülke, blended olarak iyi görünen bir kampanyanın içinde saklanıyor. Kampanyası %70 basarken %28 All ROAS ile çalışan o ülke, algoritmadan optimize etmesi istenen tam metrikte başarısız oluyordu. Bir proxy değil. Gerçek hedef. D0 bunu erken işaretledi, All ROAS onayladı ve kampanya seviyesindeki rakam hiç kıpırdamadı.
Mekanizma basit: iyi ülkeler kötüleri sübvanse eder. Blend vasat kalır ve vasat, her zamanki gibi görünür.
Bu, algoritmayı sorgulamakla ilgili değil. Algoritma görebildiğini optimize eder, ki bu da tek bir kampanya seviyesinde rakamdır. Ülke performansı, tasarım gereği bir kör noktaydı, bu yüzden birinin bunu manuel olarak kapatması gerekir. O kişi sizsiniz. Kayıtlara geçsin diye söylüyorum, yaş veya cinsiyet gibi diğer olası breakdown’lar çok normal ve beklenen görünüyordu, bu yüzden bu bizi şaşırttı.
Çerçeve: iki metrik, üç renk, üç kova
İşte tutulacaklarla kesilecekleri ayırmak için kullandığımız puanlama sistemi. Bir ülke breakdown export’u üzerinde ve ayda yaklaşık otuz dakikada çalışıyor.
Adım 1: her metriği bağımsız olarak puanlayın
Her ülke iki not alır, biri D0 ROAS için, biri All ROAS için, her biri kampanyanın hedefinden inşa edilmiş bantlara karşı yeşil, sarı veya kırmızı olarak notlandırılır. Bu uygulamanın bantları %70’lik tROAS hedefinden geldi: yeşil All ROAS hedefte başlar ve D0 bantları, tarihsel olarak hedefi tutturmaya neyin eşlendiğinden gelir. Yapıyı çalın. Rakamları kendi hedefinizden ve kendi D0’dan All’a eğrinizden kendiniz türetin.
D0 size baktığımız ilk sinyali verir. All ROAS size gerçeği verir, ki kampanyanın optimize ettiği şey de budur. %25 D0 ve %80 All’daki bir ülke, %25 D0 ve %30 All’dan tamamen farklı bir hayvandır ve tek bir metrik bunları birbirine karıştırır.
Adım 2: üç kovada birleştirin
Yeşil 2 puan, sarı 1, kırmızı 0 puan alır. İki metriği toplayın.
| İki puanın toplamı | Kova | Ne yapmalı |
|---|---|---|
| 3 veya 4 | İyi | Tut, dokunma |
| 2 | İzle | Aylık kontrol et |
| 1 veya 0 | Çıkar | Algoritma bunu düzeltmez, bozuk olduğunu bilmiyor |
Adım 3: zaman boyutunu ekleyin
Ortalamalar yönü gizler. İki ülke aynı çeyreklik hükmü taşıyıp zıt yönlerde hareket ediyor olabilir.
Worldwide kampanyadaki PH, D0’da %33’ten %24’e, oradan %17’ye geriledi, kampanyanın %70 tutturduğu bir ayda All ROAS %28’deydi. GB, Nisan’da %17’ye düştü ve Mayıs’ta %29’a geri döndü, All ROAS ise tüm süre boyunca hedefe yakın seyretti. Aynı toplam hüküm. Zıt trajektoriler. Aylık görünüm size hangisinin sabrı hak ettiğini söyler.
Adım 4: buna göre hareket edin
Arkasında anlamlı harcama olup üç ay boyunca kırmızı kalan kırmızı-kırmızıları çıkarın. Herhangi bir şeyi değerlendirmeden önce bir harcama eşiği belirleyin: arkasında 80 $ olan bir ülkenin ROAS’ı gürültülüdür, bir hüküm değildir. Sarıları izleme listesine alın ve aylık yeniden kontrol edin. İyi’yi rahat bırakın.
Ortaya çıkardığı şey
Bunların hiçbiri kampanya seviyesinde görünmez.
Harcamanın %46’sı İyi notu aldı. %47’si İzle notu aldı. Ve %7’si, yani 17 ülke-kampanya kombinasyonunda 27,6K $, üç ay boyunca kesintisiz her iki metrikte de kırmızıydı. En büyük üçü: worldwide kampanyada PH (%21 D0’da 7,1K $), Android’de MX (%23’te 6,2K $), Tier1’de DE (%16’da 2,1K $).
O 27,6K $, biri manuel olarak bakana kadar olduğu yerde park halinde kalıyor. Hiçbir uyarı tetiklenmiyor. Ads Manager’da hiçbir şey kırmızıya dönmüyor. Bu olurken kampanya görünümü her şeyin yolunda olduğunu söylüyordu.
Çıkarım
Algoritma alıcıları bulmakta iyidir. Dönüşmeyi bırakan geo’ları terk etmekte iyi değildir.
Tüm sistem dört satıra sığar:
- İki metrik: hız için D0, gerçek için All ROAS.
- Metrik başına üç renk, kendi hedefinize karşı puanlanmış.
- Üç kova: tut, aylık kontrol et, çıkar.
- Bir takvim hatırlatıcısı. Aylık.
Bu audit’i hesabınızda ikinci bir göz çiftinin yürütmesini tercih ederseniz, gelen kutum açık.