A/B-тестирование сайта: как проверять гипотезы

Клиент присылает мне новый макет карточки товара и спрашивает: «Как думаешь, конверсия вырастет?» Я честно отвечаю, что не знаю — и предлагаю не гадать, а проверить. Это ровно то, для чего существует A/B-тестирование сайта: не спор дизайнеров и маркетологов, а способ получить цифру вместо мнения.

Я настраиваю контекстную рекламу и веду аналитику для интернет-магазинов и услуговых сайтов уже несколько лет, и трафик, который приходит с Директа, — это всегда деньги. Если посадочная страница конвертирует на 1,2 процентных пункта хуже, чем могла бы, это прямые потери в рекламном бюджете, а не абстрактная «недоработка сайта». Поэтому A/B-тесты для меня — не факультативная опция, а часть работы с трафиком.

В статье разберу, что такое A/B-тестирование сайта и когда оно действительно нужно, как формулировать гипотезы, чтобы не тестировать случайные идеи, как рассчитать размер выборки, какие инструменты использовать и какие ошибки чаще всего сводят результат теста к статистическому шуму.

Что такое A/B-тестирование сайта простыми словами

A/B-тестирование сайта — это метод, при котором посетителям одновременно показывают два (или больше) варианта страницы или элемента, а затем сравнивают, какой вариант даёт лучший результат по заранее выбранной метрике: конверсии, среднему чеку, глубине просмотра. Трафик делится случайным образом — обычно 50/50 — так, чтобы на исход теста не влияли внешние факторы вроде дня недели или источника перехода.

Ключевое отличие от «до/после» в том, что оба варианта показываются одновременно. Если сначала месяц крутить старую версию, а потом месяц новую и сравнивать конверсию, в разницу подмешается сезонность, изменения в рекламных кампаниях, курс доллара — что угодно. A/B-тест убирает эту погрешность, потому что группы существуют в одном временном окне.

Зачем тестировать сайт и когда это имеет смысл

Смысл A/B-теста не в том, чтобы «улучшить дизайн», а в том, чтобы принимать решения на данных, а не на вкусе самого громкого человека в переговорке. По моим наблюдениям, изменение одной кнопки или заголовка редко даёт прирост конверсии больше 8–15%, но при трафике 40 000 визитов в месяц даже 2,1 процентных пункта — это заметная разница в количестве заявок и, соответственно, в стоимости лида из лендинга для контекстной рекламы.

Но тестировать оправдано не всё и не всегда. Если на сайт заходит 300 человек в месяц, тест будет идти полгода и не наберёт статистической значимости — время потрачено впустую. Если сайт b2b-услуги с циклом сделки в 2–3 месяца, конверсия «заявка» вообще не самая надёжная метрика для быстрого теста — там правильнее смотреть на микроконверсии.

Как сформулировать гипотезу для A/B-теста

Слабая гипотеза звучит как «сделаем кнопку зелёной, наверное, будет лучше». Рабочая гипотеза строится по формуле: если мы изменим [элемент], то [метрика] изменится, потому что [причина, основанная на данных]. Причина — обязательная часть: без неё вы тестируете случайность, а не проверяете понимание аудитории.

Источники для гипотез я беру из трёх мест. Первое — Вебвизор в Яндекс Метрике: записи сессий часто прямо показывают, где люди зависают, скроллят обратно или бросают форму. Второе — карта скроллов и кликов из отчётов Метрики. Третье — карта пути клиента, которая помогает увидеть, на каком шаге воронки теряется больше всего людей.

Какие элементы сайта тестировать

Не все элементы одинаково влияют на результат. По моей практике работы с посадочными страницами под рекламу, наибольший эффект дают изменения ближе к точке принятия решения — форме, кнопке, цене — а не декоративные элементы.

Хорошая формулировка оффера часто даёт больше, чем перекраска кнопки — это стоит держать в голове, когда выбираете, с чего начать тест. Если формулировка предложения на странице сама по себе слабая, полезно сначала разобрать, как написать оффер, а уже потом тестировать визуальные детали.

Как рассчитать размер выборки и статистическую значимость

Самая частая ошибка, которую я вижу у клиентов, — остановка теста на глаз, когда вариант Б «уже вроде выигрывает». На малых выборках разница в 2–3 процентных пункта конверсии может быть просто шумом. Чтобы не гадать, нужны три числа: базовая конверсия, минимальный эффект, который вы хотите заметить, и уровень значимости (обычно 95%).

При суммарном трафике 5 200 визитов в неделю на страницу тест наберёт нужный объём за 2,6 недели на каждый вариант — то есть тест логично держать открытым около 3 недель, а не 4 дня. Калькуляторы размера выборки есть у большинства сервисов A/B-тестирования, но полезно понимать логику расчёта, а не просто верить итоговой цифре в интерфейсе.

Инструменты для A/B-тестирования сайта

Для большинства проектов с трафиком до 50 000–70 000 визитов в месяц достаточно бесплатных или условно-бесплатных инструментов. Дорогие корпоративные платформы имеют смысл только при высоком трафике и большом количестве параллельных тестов.

Клиентский тест против серверного: что выбрать

Клиентские инструменты подменяют содержимое страницы в браузере пользователя через JavaScript — это быстро запустить, но иногда заметно «мигание» исходной версии на долю секунды до подмены. Серверный тест отдаёт нужный вариант страницы сразу с сервера — работает чище и быстрее, но требует ресурсов разработки. Для разовой проверки заголовка или кнопки клиентского инструмента достаточно; для теста, влияющего на структуру всей посадочной страницы под рекламу, я обычно рекомендую серверную реализацию.

Пошаговый процесс запуска A/B-теста

Ниже — обобщённый пример логики запуска теста, а не описание одного конкретного проекта. Такую последовательность я использую как базовый чек-лист перед стартом любого сплит-теста на посадочной странице.

Цель под метрику теста настраивается так же, как обычные цели в системе аналитики — если этот шаг вызывает вопросы, у меня есть отдельный разбор, как настроить цели в Яндекс Метрике. Без корректно настроенной цели тест физически нечем измерить, даже если техническая реализация сплита работает идеально.

Частые ошибки при A/B-тестировании сайта

Как анализировать результаты A/B-теста

После набора нужной выборки я смотрю не только на итоговую конверсию, но и на доверительный интервал вокруг цифры. Если вариант Б показал конверсию 4,1% против 3,4% у варианта А, но доверительные интервалы пересекаются — статистической разницы нет, даже если цифры визуально отличаются.

Дальше смотрю на вторичные метрики: не упала ли средняя сумма заказа, не выросла ли доля отказов после клика по CTA, не изменилось ли время на сайте. Иногда вариант выигрывает по конверсии заявки, но проигрывает по маркетинговым метрикам дальше по воронке — например, доля оплаченных заявок из этой формы ниже, потому что упрощённая форма привлекает менее целевых заявителей. Такие случаи важно ловить через сквозную аналитику, а не только через метрику самого сайта.

Если результат теста неубедителен — доверительный интервал широкий, разница в пределах погрешности — это тоже валидный вывод. Он означает, что тестируемое изменение с высокой вероятностью не критично для конверсии, и стоит потратить ресурсы на гипотезу с более сильным потенциальным эффектом. Накопленную историю тестов полезно вести в общей карте — со временем это превращается в базу знаний о поведении вашей аудитории, которую можно сверять с портретом клиента и уточнять сегменты для дальнейших гипотез.

Что делать после теста: внедрение и повторные гипотезы

Победивший вариант нужно внедрить как основной, а не оставлять «на паузе» с равным распределением трафика — иначе часть посетителей продолжает видеть худшую версию без причины. После внедрения полезно зафиксировать вывод теста в общем журнале гипотез: что тестировали, какой был эффект, какая метрика использовалась. Это защищает от повторного тестирования одной и той же идеи через полгода, когда все забыли, что она уже проверялась.

Следующая гипотеза обычно рождается из результата предыдущей. Если упрощение формы дало рост конверсии, логично проверить, не упрощается ли форма дальше без потери качества заявок — но уже с оглядкой на когортный анализ удержания и повторных продаж, чтобы не оптимизировать количество заявок в ущерб их качеству.