A/B-тест лендинга сравнивает варианты страницы при заранее выбранных условиях. До запуска нужно записать гипотезу, основную метрику и правило принятия решения. Если трафика мало, различие нескольких заявок легко принять за эффект изменения.
Сформулируйте одну проверяемую причину
Вместо «сделаем страницу лучше» запишите: «Посетителям трудно понять, какие сведения нужны для оценки проекта; пояснение рядом с формой поможет завершить обращение». Из такой причины следует изменение и метрика — доля успешных обращений среди подходящих визитов.
Опишите текущий вариант, новый вариант и ожидаемое поведение. Не меняйте одновременно заголовок, тариф, состав формы и рекламное предложение, если хотите оценить конкретную причину. Для проверки целого нового предложения может потребоваться отдельный эксперимент с другой постановкой задачи.
Определите, что считать результатом
Выберите одну основную метрику и несколько проверок качества. Например:
| Показатель | Зачем нужен |
|---|---|
| Успешные заявки на подходящий визит | Основной результат формы |
| Доля корректных контактов | Проверка качества обращений |
| Ошибки отправки | Контроль работоспособности |
| Скорость появления формы | Проверка технической разницы |
| Результат контакта менеджера | Связь обращения с бизнес-задачей |
Не объединяйте открытие формы и получение заявки в одну метрику. Посетитель может открыть форму несколько раз, но так и не отправить контакт.
Сохраните вариант для каждого посетителя
Человек должен видеть один и тот же вариант при повторном открытии и переходе по сайту. Иначе его поведение относится сразу к двум версиям, а сравнение становится неясным.
Распределение должно происходить по согласованному правилу. Если утром показывать A, а вечером B, отличие может объясняться временем суток и составом аудитории. Проверьте, что аналитика передаёт вариант вместе с целевым событием.
Не принимайте решение по первому удачному дню
До запуска задайте минимальную длительность и требования к данным. Их определяют текущая конверсия, ожидаемый размер изменения и выбранный статистический метод. Универсального числа «сто визитов достаточно» нет.
Если одна версия получила четыре заявки, а другая шесть, это описание наблюдения. Оно само по себе не доказывает преимущество. Сохраните абсолютные числа, доверительный интервал или другой согласованный показатель неопределённости и условия теста.
Запишите результат так, чтобы его можно было повторить
В журнале теста должны быть гипотеза, даты, варианты, критерии исключения тестового трафика, результаты и принятое действие. Отдельно отметьте сбои формы и изменения рекламы во время эксперимента.
Если данных недостаточно, зафиксируйте это как результат проверки и пересмотрите план. Для небольшого потока обращений интервью, проверка интерфейса и анализ ошибок могут быстрее выявить конкретную проблему.
На лендинге под ключ можно заранее предусмотреть передачу варианта в аналитику и сохранение исходной версии. Тогда последующие изменения будут проверяться по воспроизводимому сценарию.
