A/B-тестирование рекламных кампаний

Зачем тест, если можно «просто поменять»

A/B в рекламе — способ проверить гипотезу на сопоставимом трафике, а не ритуал с двумя объявлениями. Без гипотезы это смена картинок. С гипотезой, но без данных — гадание, которому дали интерфейс.

Гипотеза звучит так: «если заголовок назовёт срок, а не „качественный монтаж“, вырастет доля заявок с того же кластера, потому что сейчас отказывают люди, не видящие рамки». Если не можете сказать «потому что», тестировать рано: сначала посмотрите запросы, отказы, записи звонков.

Тесты объявлений и тесты страниц — разные слои. Текст объявления разбирается в материале как писать рекламные объявления. Логика гипотез на сайте — в статье что такое CRO. Кампания их только сводит: один и тот же спрос, разные сообщения или разные URL.

Что тестировать в контексте

Имеет смысл сравнивать то, что меняет выбор человека, а не декорацию.

Объявление. Задача в заголовке против абстрактного УТП. Упоминание гео, срока, формата работы. Не «цвет кнопки в объявлении», а обещание, которое должно совпасть с запросом.

Посадочная. Первый экран, который повторяет объявление, против общей главной. Форма выше vs форма после полотна текста. Одно главное действие против трёх равноправных. Это уже про конверсию клика, не про CTR.

Сегмент спроса. Узкий кластер vs более широкий. Не как «креатив A/B», а как проверка, за какой спрос вы готовы платить. Смотрите качество лида, не только число.

Не тест. Десять правок за три дня. Смена стратегии ставок вместе с заголовком. Разные гео в «вариантах». Смешение поиска и сетей в одном сравнении. Всё это ломает сопоставимость.

Когда данных мало

Малый бюджет не отменяет физику выборки. На двадцати кликах «победитель» — лотерея. Даже несколько заявок на крошечном объёме не доказывают устойчивость: одна заявка может быть знакомым директора.

Если объёма не хватает на сравнение двух URL:

• не дробите и так тонкий поток;
• чините очевидное без A/B: битая форма, объявление про другую услугу, минуса по вакансиям;
• собирайте качественные наблюдения: формулировки запросов, причины отказа, где человек бросил страницу;
• копите объём на одном варианте, который не врёт, вместо двух калек.

Честная позиция: «мы не тестируем, мы убираем явный брак». Она полезнее графика с двумя столбиками из шума.

Когда объёма достаточно, чтобы на каждом варианте набрались заявки, а не только клики, сравнение начинает иметь смысл. Ориентир — не магическое число из блога, а ваш цикл: пока знаменатель (заявки) на варианте измеряется единицами, вывод про CPL хрупкий. Стоимость заявки как цель теста разобрана в статье как снизить стоимость заявки — там рычаги, здесь условие, при котором рычаг вообще видно.

Как устроить сравнение, чтобы ему можно было верить

1. Один фактор. Заголовок или первый экран, не оба сразу.
2. Один кластер спроса и одно гео. Иначе вы сравниваете аудитории.
3. Одинаковое определение заявки. Иначе победит тот, у кого цель легче срабатывает.
4. Срок, сопоставимый с циклом, не «до обеда».
5. Стоп-правило заранее: что считаем достаточным, чтобы остановить слабый вариант. Иначе слабый будут «ещё чуть-чуть дожимать».

Не тасуйте трафик руками каждый час. Не включайте новый вариант, пока старый не добрал период. Не объявляйте победу по CTR, если цель — заявки: выигрыш кликабельности часто проигрывает в квалификации.

Типичные самообманы

Победа по CTR. Объявление стало любопытным, на страницу пришли не те. Заявок меньше, CPL выше. Тест «успешен» только в отчёте по объявлениям.

Победа по дешёвому клику. Вариант собрал хвост широкого спроса. Лиды дешевле считаются и хуже закрываются.

Ранняя остановка. Увидели две заявки на A и ноль на B за сутки — выключили B. На следующей неделе картина могла развернуться. Если останавливаете рано, запишите, что это эвристика, не результат теста.

Тест всего аккаунта. Смешали бренд, холодный поиск и сети. Среднее ничему не учит.

Связь с посадкой и учётом

Нет смысла тестировать заголовки, если форма не отправляется с телефона. Нет смысла тестировать кнопку, если цель в аналитике срабатывает на клик без отправки. Сначала контур учёта, потом эксперимент. Иначе вы сравниваете два способа врать себе.

Для рекламного контура проверка гипотез — часть работы рекламы, но гипотеза должна быть вашей: что ломается в цепочке запрос–объявление–страница. Подрядчик без этой формулировки снова будет менять картинки.

Объявления в кабинете и тесты на сайте

Это разные станки. В кабинете вы сравниваете обещания на одном и том же URL. На сайте — разные экраны и формы на одном и том же спросе. Если одновременно крутите оба слоя, любой «победитель» необъясним: вы не воспроизведёте его в следующем кластере.

Последовательность безопаснее параллели, когда трафика мало. Сначала уберите враньё в объявлении. Потом, на уже честном клике, меняйте первый экран. Иначе вы тестируете, какое враньё лучше кликается.

Не тащите на рекламный тест привычки из контентных экспериментов: там тысячи просмотров и слабая цена ошибки. Здесь каждый клик стоит денег, а заявка редка. Поэтому фактор должен быть крупным: задача в заголовке, наличие цены-рамки, главная против страницы услуги. Мелочь вроде перестановки двух прилагательных на малом объёме не видна никогда.

Фиксируйте в таблице: дата, гипотеза, что именно меняли, что не трогали, сколько заявок какого качества. Без таблицы через месяц никто не вспомнит, какой заголовок «уже пробовали». Повторный тест того же без записи — не наука, а круговорот.

Если вариант явно ломает здравый смысл — битая вёрстка, другая услуга, 404 — его останавливают без ожидания «значимости». Статистика не нужна, чтобы выключить брак. Она нужна, чтобы выбрать между двумя рабочими сообщениями.

Короткий регламент

• Гипотеза одним предложением с «потому что».
• Один фактор, один кластер.
• Не запускать сравнение на объёме, где заявки считаются штуками за весь тест.
• Не читать двадцать кликов как вердикт.
• После победы оставить победителя и не начинать новый тест в тот же день «из энтузиазма».

A/B — инструмент экономии бюджета на следующих циклах. На текущих двадцати кликах он только изображает науку.