A/B-тест
A/B-тест — контролируемый эксперимент, где аудитория случайно делится на две группы и получает разные версии страницы, письма или рекламы для сравнения метрик.
Определение A/B-теста
A/B-тест (сплит-тест) — метод сравнения двух версий элемента: страницы, письма, объявления или кнопки. Аудитория случайным образом делится на группу A (контрольная, текущая версия) и группу B (тестовая, изменённая версия). Затем фиксируется, какая версия лучше справляется с целевой метрикой.
Ключевое слово — «случайным образом». Без рандомизации тест превращается в наблюдение с систематической ошибкой: утренние пользователи получают версию A, вечерние — B, и разница в метриках объясняется не изменением, а разным составом аудитории.
Как проводится A/B-тест
Стандартный процесс из пяти шагов:
- Гипотеза: «Изменение X приведёт к росту метрики Y на Z%». Конкретная, измеримая, с обоснованием.
- Расчёт выборки: минимальный размер каждой группы считается через калькулятор мощности теста (sample size calculator). Типичные параметры: α = 0,05, мощность 80%, ожидаемый эффект от 5%.
- Запуск: трафик делится рандомно, обе группы получают показы одновременно — это исключает сезонный и временной шум.
- Сбор данных: тест идёт минимум один-два полных бизнес-цикла (обычно 1–4 недели).
- Анализ: сравниваются конверсии, считается p-value. Если p < 0,05 — результат статистически значим, принимаем или отвергаем гипотезу.
| Элемент теста | Пример A | Пример B |
|---|---|---|
| Заголовок лендинга | «Увеличьте продажи» | «+37% конверсии за 30 дней» |
| CTA-кнопка | «Подробнее» | «Получить расчёт бесплатно» |
| Тема письма | «Акция этой недели» | «Иван, ваш персональный оффер» |
Связанные концепции
- Статистическая значимость — уверенность в том, что разница между группами не случайна. Стандарт: p-value < 0,05 (вероятность случайного результата менее 5%).
- p-value — вероятность получить наблюдаемую разницу при условии, что обе версии одинаковы. p = 0,03 означает: если бы версии не отличались, такой результат возникал бы случайно в 3% случаев.
- Конверсия — главная метрика большинства A/B-тестов. Измеряется в процентах от показов или сессий.
- CTR (Click-Through Rate) — типичная метрика для тестов рекламных объявлений и email-рассылок.
- Многовариантный тест (MVT) — расширение A/B: одновременно тестируются несколько переменных. Требует пропорционально большей выборки.
Частые вопросы
Сколько длится A/B-тест?
Минимум — один полный бизнес-цикл, обычно 1–2 недели. Заканчивать тест раньше при «очевидном» результате — классическая ошибка. Тест, остановленный на пике по итогам 3 дней, завышает эффект: это называется «подглядывание» (peeking problem). Если конверсия низкая и трафик небольшой — тест может занять 4–6 недель для набора достаточной выборки.
Какую гипотезу проверять первой?
Ту, которая даёт наибольший потенциальный эффект при минимальных затратах на реализацию. Приоритизируйте по формуле PIE: Potential (потенциал роста) × Importance (важность страницы/элемента) × Ease (лёгкость реализации). Заголовки, CTA и формы заявок на лендингах — первые кандидаты: они прямо влияют на конверсию и легко меняются. Подбор гипотез для сайта — часть работы над сайтом.
Зачем нужна статистическая значимость в A/B-тесте?
Без неё вы не знаете, реальный ли эффект или случайный шум. Допустим, версия B дала конверсию 5,2% против 4,8% у версии A — рост на 8,3%. Звучит хорошо, но если выборка по 200 человек, p-value составит ~0,4: такая разница возникала бы случайно в 40% случаев. Внедрив версию B, вы рискуете «оптимизировать» случайный флуктуацией вместо реального улучшения.
Можно ли тестировать несколько изменений одновременно?
Нет — если тестируете несколько изменений в одной версии B, вы не знаете, какое именно дало эффект. Это нарушает принцип «одна переменная». Исключение — MVT (многовариантный тест): он тестирует комбинации изменений, но требует выборки в разы больше. Для большинства проектов последовательные A/B-тесты эффективнее.
Как проводить A/B-тесты в рекламе?
В Google Ads и Яндекс Директ есть встроенные инструменты сплит-тестирования: вы создаёте два варианта объявления или кампании, система распределяет показы и считает CTR, конверсии и CPA по каждому. Важно: тестируйте один элемент — заголовок, описание или расширение. Помощь с настройкой и анализом рекламных тестов — на странице продвижения.