A/B-тест кажется самым научным способом улучшать сайт: показали половине посетителей старую версию, половине — новую, посмотрели, где больше заявок. На деле именно в тестах совершается больше всего ошибок, потому что результат выглядит объективным, даже когда он случаен. Мы видели десятки «успешных» экспериментов, после внедрения которых конверсия не изменилась или даже снизилась.
Расскажем, как устроен корректный A/B-тест, какие ошибки встречаются чаще всего и в каких ситуациях лучше вообще обойтись без него.
Суть метода в двух абзацах
Посетители случайным образом делятся на группы. Одна группа видит текущую версию страницы (контроль, вариант A), другая — изменённую (вариант B). Всё остальное для них одинаково: тот же трафик, тот же период, те же цены. Если через достаточное время вариант B показывает статистически значимо лучший результат по заранее выбранной метрике, изменение внедряется для всех.
Ключевые слова здесь — «случайным образом», «достаточное время», «статистически значимо» и «заранее выбранной». Каждое из них — место, где тест чаще всего ломается.
Шаг первый: гипотеза, а не «давайте попробуем»
Тест начинается с гипотезы, сформулированной по схеме: «Если мы изменим X, то метрика Y изменится, потому что Z». Например: «Если мы добавим на первый экран вилку цен, доля отправленных заявок вырастет, потому что в записях Вебвизора видно, что посетители ищут цены и уходят, не найдя их».
Такая формулировка дисциплинирует. Она заставляет:
- опираться на данные, а не на вкус — «потому что» должно быть подтверждено наблюдением;
- определить метрику заранее — потом нельзя будет сказать «заявок не прибавилось, зато время на сайте выросло»;
- понять, что конкретно меняется — одно изменение, а не десять сразу.
Где брать гипотезы: из записей сессий, карт кликов, отчётов о выходах, опросов клиентов, звонков менеджеров. Лучшие гипотезы обычно приходят от отдела продаж: они точно знают, какие вопросы клиенты задают чаще всего и что их останавливает.
Шаг второй: хватит ли трафика
Это главный вопрос, который чаще всего пропускают. Чтобы заметить разницу между вариантами, нужно определённое число конверсий в каждой группе. Чем меньше ожидаемый эффект и чем ниже базовая конверсия, тем больше нужно посетителей.
Ориентировочные цифры для уровня значимости 95% и мощности 80%:
| Базовая конверсия | Ожидаемый относительный прирост | Нужно визитов на каждый вариант |
|---|---|---|
| 2% | +50% (до 3%) | около 3 800 |
| 2% | +20% (до 2,4%) | около 21 000 |
| 2% | +10% (до 2,2%) | около 80 000 |
| 5% | +20% (до 6%) | около 8 100 |
| 10% | +10% (до 11%) | около 14 700 |
Вывод неприятный: если на сайт приходит 3 000 визитов в месяц, а конверсия 2%, обнаружить даже двадцатипроцентный прирост можно только за год с лишним. На практике это означает, что для небольших сайтов классические A/B-тесты мелких изменений бессмысленны. Цвет кнопки или формулировка подзаголовка не дадут различимого сигнала.
Что делать в такой ситуации:
- тестировать крупные изменения, от которых ожидается большой эффект: новую структуру страницы, другой оффер, другую форму;
- выбирать метрику с более высокой базовой частотой — например, не отправку заявки, а открытие формы или переход в корзину;
- использовать последовательное внедрение со сравнением периодов и качественные методы: юзабилити-тестирование, разбор записей сессий.
Шаг третий: настройка эксперимента
Техническая часть важна не меньше статистической. Что мы проверяем перед запуском:
- Распределение действительно случайное. Не «чётные дни — вариант A, нечётные — B», а случайное назначение на уровне посетителя с сохранением выбора при повторных визитах.
- Посетитель всегда видит один и тот же вариант. Если человек сначала видел A, а при возвращении — B, данные смешиваются.
- Нет мерцания. Когда сначала загружается старая версия, а через полсекунды скрипт подменяет её новой, посетители видят скачок, и это само по себе влияет на поведение.
- Оба варианта работают одинаково технически. Новая версия не должна грузиться медленнее, а формы в ней — отправляться в другой обработчик.
- Цели считаются корректно в обоих вариантах. Перед запуском мы проходим путь до заявки в каждом варианте сами и проверяем, что конверсия засчиталась.
- Проведён A/A-тест, если инструмент используется впервые: две одинаковые версии не должны показывать значимой разницы.
Шаг четвёртый: сколько ждать
Длительность теста определяется заранее, по расчёту выборки, а не по тому, когда результат «стал хорошим». Дополнительные правила:
- Минимум одна, лучше две полные недели. Поведение в понедельник и в субботу отличается, и неполная неделя искажает картину.
- Не запускать во время аномалий: распродаж, праздников, резких изменений в рекламе. Если аномалия случилась в процессе — это повод продлить тест или перезапустить его.
- Не останавливать досрочно. Об этом подробнее ниже, это самая частая ошибка.
Главные ошибки, из-за которых тесты врут
Подглядывание и досрочная остановка
Если каждый день смотреть на результат и остановить тест в момент, когда вариант B «победил» со значимостью 95%, реальная вероятность ложной победы будет не 5%, а 20–30% и выше. На коротких отрезках колебания огромны, и рано или поздно случайный перевес обязательно появится. Решение — заранее зафиксировать размер выборки и не делать выводов до её набора, либо использовать методы последовательного анализа, которые учитывают многократные проверки.
Много метрик и много вариантов
Если сравнивать пять вариантов по десяти метрикам, какая-нибудь комбинация обязательно окажется «значимой» по чистой случайности. Основная метрика должна быть одна, остальные — вспомогательные, для понимания, а не для принятия решения.
Эффект новизны
Постоянные посетители реагируют на любое изменение просто потому, что оно новое. Первые дни новый вариант может выигрывать, а через две недели эффект исчезает. Особенно это заметно на сайтах с большой долей вернувшихся пользователей.
Неоднородность трафика
Если в середине теста запустили новую рекламную кампанию, состав аудитории поменялся. Вариант, который лучше работает для нового сегмента, может выглядеть победителем, хотя для основной аудитории он хуже. Поэтому результаты стоит проверять в разрезе ключевых сегментов: устройств, источников, новых и вернувшихся.
Неправильная метрика
Тест на интернет-магазине показал рост конверсии в заказ на 15%. При этом средний чек упал на 20%, потому что новый вариант подталкивал к покупке более дешёвых товаров. Выручка на посетителя снизилась. Для магазинов основной метрикой часто разумнее выбирать именно выручку на визит, а не конверсию.
Как читать результат
Когда тест завершён, смотрите не только на «победил или нет»:
- Доверительный интервал. Прирост «+12%» с интервалом от −3% до +27% означает, что эффект может быть и отрицательным. Интервал важнее точечной оценки.
- Практическая значимость. Статистически значимый прирост на 0,5% может не окупить затрат на поддержку нового варианта.
- Поведение по сегментам. Вариант мог выиграть на десктопе и проиграть на мобильных — тогда внедрять его стоит по-разному.
- Отрицательный результат — тоже результат. Если изменение не помогло, гипотеза о причине была неверной. Это ценное знание, его стоит записать.
Мы ведём для клиентов журнал экспериментов: гипотеза, период, выборка, результат, решение. Через год это превращается в базу знаний о том, что работает именно на вашей аудитории.
Когда тест не нужен
A/B-тест — дорогой инструмент: нужно время, трафик, разработка двух версий. Есть ситуации, когда он избыточен:
- исправление очевидных ошибок — сломанная форма, неработающая кнопка на мобильных, опечатка в телефоне;
- изменения, обязательные по закону или по требованиям бизнеса;
- сайты с маленьким трафиком, где тест будет идти месяцами;
- изменения с низким риском и низкой ценой отката.
В этих случаях проще внедрить, отслеживать метрики и при ухудшении откатить. А для сайтов, где хочется системно работать с конверсией, но трафика для тестов мало, логичнее сначала увеличить поток посетителей через SEO-продвижение или рекламу и параллельно улучшать страницы по результатам качественного анализа.
Вывод
Хороший A/B-тест начинается с гипотезы, подкреплённой данными, с расчёта выборки и заранее выбранной метрики. Он идёт полные недели, не останавливается при первом «успехе» и оценивается с учётом доверительного интервала и сегментов. Если трафика недостаточно, честнее признать это и выбрать другие методы, чем принимать решения на основе случайных колебаний. Тестировать стоит смелые изменения — именно они дают различимый результат и реальный рост.
