Предположим, что вы решили придать бизнесу дополнительный импульс за счет проведения ряда сплит-тестов. Вы запускаете один тест, другой, третий...
Но коэффициент конверсии предательски отказывается расти. Вас начинают одолевать сомнения в правильности действий.
В подобной ситуации у вас всего два пути. Продолжить запуск бесчисленных тестов в надежде, что рано или поздно вам все-таки улыбнется удача. Или же поступить более конструктивно: сделать шаг назад и поработать над дизайном экспериментов (Design of Experiments, DOE). Иными словами, сфокусироваться не на том, что вы тестируете, а на том, как вы это делаете.
A/B-тесты, мультивариантное тестирование, факторное сплит-тестирование
Существует несколько различных способов организации эксперимента.
A/B-тест
Классический A/B-тест (сплит-тест) предполагает сравнение эффективности двух версий одной и той же страницы, различающихся между собой по одному параметру.
Отметим, что сопоставлять можно и больше двух страниц. Именно поэтому A/B-тест также иногда называют A/B/n-тестом (где n — количество сравниваемых версий).
Мультивариантное тестирование
При проведении мультивариантного тестирования проводится ряд изолированных сравнений, после чего оценивается эффективность различных комбинаций изменений.
Предположим, вы хотите протестировать 4 корректировки дизайна домашней страницы:
1. Изменение A: новый баннер;
2. Изменение B: новый текст кнопки призыва к действию;
3. Изменение C: новый цвет кнопки призыва к действию;
4. Изменение D: новая формулировка уникального торгового предложения.
Влияние изменений на коэффициент конверсии может оказаться, к примеру, вот таким:
1. Изменение A: +10%;
2. Изменение B: +5%;
3. Изменение C: -25%;
4. Изменение D: +5%.
Организовав классический сплит-тест и сравнив контрольную страницу со страницей, претерпевшей вышеперечисленные изменения, вы пришли бы к выводу, что поправки оказали негативное воздействие на конверсию (10% + 5% - 25% + 5%= -5%), и их закрепление нецелесообразно.
Однако мультивариантное тестирование предполагает оценку различных комбинаций изменений. В рассмотренном примере оптимальным вариантом является сочетание изменений A, B и D.
Справедливости ради стоит отметить, что в данном случае не учитывается взаимное влияние поправок, которое порой весьма значительно.
Факторное сплит-тестирование
Данный метод во многом схож с мультивариантным тестированием. Главное его отличие состоит в сокращении объема анализируемой информации за счет последовательного изменения страницы.
Но как решить, какие именно изменения и в каком порядке стоит вносить?
Универсальных советов здесь нет. Маркетологу остается полагаться на свои знания и накопленный опыт.
Факторное сплит-тестирование в действии
Рассмотрим в качестве примера то, как специалисты компании WiderFunnel в свое время организовали работу над сайтом ритейлера Annie Selke.
Эксперимент 4.7
Контрольная страница выглядела следующим образом:
На первом этапе было видоизменено меню сортировки:
Поводом для выбора в пользу этого изменения стали плохие показатели взаимодействия пользователей с меню в его первоначальном виде.
На втором этапе было уменьшено меню в левой части страницы:
Уменьшив количество опций, специалисты WiderFunnel снизили когнитивную нагрузку на пользователей.
На третьем этапе было решено опробовать альтернативный формат меню в левой части страницы:
По итогам эксперимента рост коэффициента конверсии в результате третьего изменения составил примерно 19,1%.
Эксперимент 4.8
В рамках следующего эксперимента были рассмотрены три версии страницы. Первая из них имела сжатое меню слева. Меню сортировки было представлено в формате отдельных кнопок:
Во второй версии страницы дизайнеры выдвинули на первый план варианты расцветок:
Третья версия страницы отличалась от первой тем, что меню слева оставалось видимым при прокрутке:
Каковы были итоги?
Первая и вторая версии страниц показали себя очень хорошо. Таким образом, подтвердилась целесообразность использования в левой части страницы сжатого меню и эффективность акцента на цвете.
Закрепление меню, в свою очередь, оказалось неудачным решением.
Тестируйте осознанно
Независимо от того, какому из подходов к организации сплит-тестов вы отдаете предпочтение, не допускайте, чтобы ваша работа превращалась в бездумный перебор вариантов. Результат, полученный по счастливой случайности, как правило, невозможно воспроизвести.
Чтобы поставить успешные сплит-тесты на поток, вы должны проводить тщательный анализ каждого из проведенных экспериментов и непрерывно оттачивать свое мастерство.
Высоких вам конверсий!
По материалам: widerfunnel.com, image source Salvatore Perrella
