Передумови

Цей кейс розпочався після виходу на net profit, коли ми почали активно масштабувати закупку і запустили нову монетизаційну воронку. І дуже скоро помітили, що метрика оцінки успішності креативних тестів на тій воронці різко просіла. Тоді це була метрика кількості “успішних” паків (адсетів) на креативних тестах, поділена на сумарну кількість таких запущених паків в тестах. 

Можна було передбачити нашу реакцію: щоб тримати темпи масштабування ми почали запускати (тестувати) менший % унікальних креативних концептів і більше так званих варіацій: креативів, максимально схожих на попередні успішні. Ефект одразу став помітним, і успішність креативних тестів нормалізувалась. 

Але UAMи з досвідом, які колись приймали схоже рішення вже здогадуються, що таке рішення може бути лише тимчасовим. Чому? Бо те, що для нас, справжніх UAMів, є схожими креативами для алгоритму МЕТА часто є однаковими креативами. І якщо згадати, що всі вони колись вигорають і уявити кейс, коли більшість закупки працює на “схожих” креативах – нескладно передбачити наслідки. У такому сетапі в якийсь момент “вигорить” не окремий креатив, а вся закупка. СРА в цьому випадку теж, зрозуміло, виросте. І ростиме без кінця у міру посилення вигорання.

Ми знали про такий сценарій, тому абсолютну кількість тестів унікальних (нових, не схожих на попередні) креативних концептів ми не зменшували. Вище я писав, що ми знизили саме % таких тестів і це суто через збільшення тестів варіацій. І наш план був лише виграти час, щоб якийсь з унікальних креативів нарешті зачепився і “полетів”.

Але час йшов, а успішного тесту серед унікальних креативів не було. Ба більше, ми почали помічати перші ознаки вигорання на креативах, з яких робили варіації. Часу, очевидно, вже було обмаль. Вишенькою на торті стала статистика, згідно з якою кількість унікальних креативів на нашому бізнес-акаунті стала в 5 (!) разів менша за бенчмарк в ніші. І доки команда креативних дизайнерів покращувала свої процеси і підходи до створення нових креативів, UAMи мали рятувати день “тут і зараз” 😁. Питання вже стояло не про масштабування, а про елементарне втримання спенда і СРА.

‍

Опис нового хаку

Поспілкувавшись з UAMами з інших бізнесів, ми дізнались про Sandbox і попросили МЕТА нам його провести. Саме так: провести (не підключити). 

Що це таке: для окремих клієнтів МЕТА має “хак”, який дозволяє запускати окремі кампанії на окремих Ad Accounts так, щоб вони не конкурували з рештою ваших же кампаній в межах того самого бізнес-акаунту. 

Ідея “хаку” будується на гіпотезі, що у деяких клієнтів МЕТА унікальні креативи можуть не мати успіху на креотестах, адже в перші дні після запуску їм особливо важко виходити на нові авдиторії та вигравати аукціони у решти креативів, якими бізнес зазвичай “бомбить” свою ж ЦА. Як мінімум через те, що під ті “старі” креативи може підлаштуватись (оптимізуватись) Піксель.

‍

Як провести

Опція доступна не всім клієнтам. Те, що бізнесу необхідно мати спенд від ~$4K Daily — лише моє узагальнене припущення. Я точно знаю кілька бізнесів, які отримали функціонал і на менших спендах, тож мінімум частина успіху в цьому питанні це ваш Biz Dev.

На початку застосування “хаку” клієнтам доступна лише опція запуску окремих кампаній, кожну з яких META має засетапити на своєму боці. Так-так: кожну кампанію. Але якщо цей етап перетерпіти, стане доступна опція, коли МЕТА сетапить функціонал на весь Ad акаунт раз на 1-2 місяці з можливістю пролонгації.

Акаунт на якому проводиться Sandbox тестування має бути окремим від того, на якому йде основна закупка, але бажано не новим: варто пролити туди хоч невеличкий спенд перед Sandbox тестуванням. Про це просять самі МЕТА з метою мінімізації помилкових банів цього нового акаунту під час проведення тесту (можна лише припустити, що під час Sandbox тестування зростає).

На рівні кампаній/адсетів/креативів абсолютно весь сетап Sandbox відбувається “під капотом” на боці МЕТА, тож ніяких додаткових дій в плані налаштувань від UAM не потрібно. Ми просто запускаємо кампанії, адсети і креативи як зазвичай.

‍

Результати

З першого тесту ми не отримали ні кращого СРА, ні нових креативів. Ті з них, що мали успіх на Sandbox були ті самі, що мали успіх за звичайних креативних тестів. Але було цікаве “але”: ми помітили, що на Sandbox кампаніях – інша структура трафіку (вік, девайси, плейсменти тощо), тобто високоймовірно й інша авдиторія. Це нас зацікавило і ми вирішили повторити тест кілька разів.

Власне, вже з третьої спроби на цих кампаніях почали мати успіх нові унікальні креативи, які мали нульовий успіх на BAU креативних тестах. Протягом місяця ситуація з різномаїттям креативів на воронці покращилась втричі із позитивною динамікою врешті наздогнати бенчмарк, від якого ми, нагадаю, відставали у 5 разів. 

Але найголовніше те, що спенд і СРА було втримано. Ми повернули рівновагу “народження та вигорання” креативів, що дозволило нам проводити роботу з покращення СРА і масштабування за рахунок інших інструментів закупки.

‍

Підводні камені

А їх тут чимало. І вони лежать в тому, як саме Sandbox досягає ефекту відсутності внутрішньої конкуренції між нашими кампаніями. А через це, на мою думку, є колеги, у яких цей тест провалюється без мінімального шансу на успіх.

Коли менеджер МЕТА запускає Sandbox тест на тестовому Ad акаунті, той акаунт буквально “відрізає” від вашої аудиторії на Бізнес-акаунті якийсь % аудиторії, який стає недоступним решті Ad акаунтів. Це може бути 5%, а може бути і 50%.

Ефект “відрізання” видно навіть на тому рівні, що після створення чи переналаштування Sandbox, розмір авдиторії в Audience definition на рівні адсету на основних Ad акаунтах (від яких “відрізають” авдиторію) може зменшуватись навіть якщо сам адсет не чіпати взагалі. 

Нам пощастило – МЕТА за замовчуванням зробили нам Sandbox на 10%. Але в усіх з ким я спілкувався і у кого цей тест з тріском провалився, доля Sandbox авдиторії була налаштована на 5%, що скоріше за все замало. 

Гарна новина в тому, що менеджери МЕТА зацікавлені у вашому успіху, і якщо ви самі їх попросите поставити інший % авдиторії на Sandbox – вони без проблем це зроблять. Але і тут треба бути обережним: якщо “відрізати” забагато від основної авдиторії, закупку можна зламати вже там. А розвал основної закупки це часто набагато гірше за будь-який провалений тест. 

Навіть так не можна ігнорувати той факт, що на відміну від Bid Multiplier  у великої кількості моїх колег тест Sandbox не мав успіху. Тому особисто я ставлюсь до Sandbox як до цікавого, але ризикового тесту (з яким нам пощастило), а не як до гарантованої панацеї від проблем внутрішньої конкуренції креативів.