A/B-тестирование, также известное как «сплит-тестирование», является одним из наиболее эффективных способов получения точных количественных данных для оценки успеха вашей pre/post click-маркетинговой кампании и оптимизации конверсии. На практике сплит-тест сводится к попеременной демонстрации вариантов вашей целевой страницы (post click) или рекламного объявления (pre click) – отличающихся только по одному параметру – двум приблизительно одинаковым по количеству и демографическому составу пользовательским аудиториям/каналам. При использовании более чем одного тестируемого варианта, сплит-тестирование носит название «A/B/n-test».
По достижении статистически значимого числа показов вариантов страницы, вы будете располагать конкретными сведениями о том, какой ее вариант принесет вам больше конверсии.
Однако для того, чтобы сплит-тест принес вам явную ощутимую пользу, вы должны запустить его единственно верным способом: перед началом теста вы должны задать себе «правильные» вопросы и дождаться получения объективных количественных данных, пригодных для последующего анализа.
1. Когда A/B-тестирование является хорошей идеей? Когда нет?
A/B-тестирование «проваливается» чаще всего только потому, что его пытаются проводить, не определившись с целями испытания – вы всегда должны точно знать, что именно вы тестируете. Задавайте себе простые вопросы: если я размещу на целевой странице именно вот эту фотографию – приведет ли это к увеличению конверсии? Будут ли пользователи чаще нажимать на красную CTA-кнопку, чем на синюю? Что будет, если я изменю заголовок страницы, подчеркнув ограниченный срок действия моего коммерческого предложения?
Вроде бы ничего сложного, но маркетологи часто сталкиваются с такой распространенной ошибкой сплит-теста: проверяют на практике слишком расплывчатые теории. И, разумеется, A/B-тестирование не принесет вам никакой пользы, если вы будете тестировать две совершенно разные «по конструкции» целевые страницы, отличающиеся друг от друга одновременно более чем по одному/двум параметрам.
2. Как много вариантов страницы я должен подвергать одновременному A/B/n-тестированию?
Предположим, что у вас есть четыре прекрасные идеи для дизайна целевой страницы. Вам может показаться заманчивым запустить одновременный тест всех 4 новых вариантов целевой страницы сразу для скорейшего выявления победителя. Не заблуждайтесь – это не настоящий сплит-тест: при одновременном тестировании совершенно отличающихся друг от друга страниц вы не сможете точно установить, какие именно факторы повлияли на повышение конверсии.
Красота метода A/B/n-тестирования и заключается в том, что его результаты являются простыми и понятными. Мы рекомендуем вам сначала запустить сплит-тест двух первых версий страницы, затем протестировать 2 оставшиеся страницы, а уж потом тестировать «победителей».
Но здесь важно понимать одну важную особенность: можно тестировать неограниченное количество целевых страниц (A/B/n/n/n) или страниц сайта, если они все отличаются только по одному параметру, например – 4 варианта картинки или 4 варианта заголовка.
3. Что такое «нулевая гипотеза»?
«Нулевая гипотеза» объясняет одну из самых распространенных ошибок при проведении сплит-теста, так называемую «ошибку ранней интерпретации данных». Поясним на примере: согласно теории вероятности, подбрасывая монетку, мы имеем равные шансы на то, что число выпавших «решек» и число «орлов» будут соотноситься как 50/50.
Однако если мы начнем делать выводы по результатам ранней, недостаточной статистической выборки, мы получим в корне неверные данные, свидетельствующие, например, о том, что «судьба» куда более благосклонна к «решкам» – ведь на практике в какой-то момент проведения нашего эксперимента мы можем получить результат 60/40 в пользу «решек» нашей монеты. Однако если мы продолжим наш опыт, результаты распределения максимально приблизятся к теоретическим «50/50».
Помните! Для исключения случайных выводов ваш A/B-тест должен длиться достаточно долго, пока вы не достигнете статистической значимости ваших экспериментальных данных - минимум, 100 достижений целей/конверсий по каждому варианту.
4. Какой трафик нужен, чтобы получить хорошие результаты теста?
Принято считать, что тест закончен, когда достигнута статистическая значимость, равная 95% вероятности превосходства нового варианта над исходным.
Трафик может исчисляться и тысячами посещений, но вам не нужно думать об обязательном достижении таких цифр, так как большинство платформ для проведения сплит-тестирования (Эксперименты Google Analytics, например) уже включают технологию определения победителя.
5. Мультивариантное тестирование (MVT) или сплит-тест?
A/B-тестирование обычно используется для быстрой проверки одиночного, «точечного» изменения на странице. MVT сводится к проверке одновременного изменения нескольких элементов целевой страницы/сайта. Изменяемые элементы в ходе оптимизации комбинируются в различных вариантах. Для проведения мультивариантного тестирования вам нужно располагать широким каналом трафика и достаточным запасом времени. Эксперт ресурса HubSpot Кори Эридон (Corey Eridon) рекомендует следующий порядок применения двух этих вариантов тестирования:
«A/B-тестирование – лучший метод для быстрого получения значимых результатов при скудном трафике. Самое главное, что вы сможете отдавать себе отчет, какое из произведенных вами изменений привело к повышению конверсии. Для проведения мультивариантного тестирования вам нужно много всего: и времени, и трафика. Однако этот метод позволяет вам неспешно осуществить тонкую настройку целевой страницы».
6. Как сплит-тест влияет на SEO?
В среде веб-маркетологов существует устойчивый миф о том, что «A/B-тестирование дурно влияет на ваш рейтинг в поисковых системах», и объясняется этот феномен якобы тем, что поисковый робот Google воспринимает оба варианта страницы как «дублированный контент». Миф этот не выдерживает никакой критики: в конце концов, как бы тогда работал сервис Google Website Optimizer (Эксперименты Google Analytics)? А для совсем недоверчивых веб-маркетологов мы хотим напомнить, что «магическое действие» тега «no index» на поисковых роботов никто пока не отменил. ;)
7. Как и когда я могу интерпретировать результаты моего сплит-теста?
Итак, тест начинается. Вы уже получаете статистические данные. Однако на ранней стадии теста полученные вами результаты абсолютно несостоятельны – не спешите повторить пресловутую «ошибку ранней интерпретации данных». Еще раз прочтите пункты 3 и 4 настоящего списка. И только достигнув статистической значимости, начинайте проверять вашу начальную гипотезу, из-за которой вы начали изменять свою целевую страницу. Итак, A/B-тестирование – оно подтвердило или опровергло ваши теоретические предположения?
Помните! При анализе данных вам надлежит быть дистанцированным и дисциплинированным наблюдателем: если вы совершили ошибку – имейте смелость признаться в этом и принять меры к ее исправлению! Убедитесь, что существуют четкие связи между внесенными изменениями и полученным результатом!
8. Как много переменных нужно тестировать?
Для того, чтобы результаты вашего сплит-теста имели практическое применение, вам следует жестко ограничить сферу вашего эксперимента: многолетняя практика показывает, что даже самому опытному веб-маркетологу трудно уловить логическую связь между более чем 3-4 изменениями на странице и последовавшими переменами – к лучшему или худшему.
9. Что я должен тестировать?
В этом вопросе мы предлагаем вам, уважаемые читатели, воспользоваться богатым опытом американских веб-маркетологов.
Призыв к действию (CTA-элемент)
Этот важный элемент страницы нуждается в ряде последовательных тестов. Проверьте текст на кнопке призыва к действию – именно эти слова заставят посетителя вашей целевой страницы совершить нужное вам действие. Проверьте местоположение CTA-элемента на странице, форму кнопки, шрифт надписи – в данном вопросе нет маловажных элементов.
Заголовок страницы
Заголовок – это первое, что посетитель прочитает на вашей целевой странице/сайте (и, увы, может случиться так, что единственное). У заголовка гигантский потенциал воздействия на пользователя. Попробуйте написать разные заголовки и протестируйте их.
Изображения
В этом тесте есть место для вашей фантазии: попробуйте проверить, какая иллюстрация принесет вам большую конверсию – фотография счастливого покупателя, пользующегося вашим товаром, или простая безличная картинка, без затей изображающая ваш продукт?
Объем текста на странице
Споры по этому вопросу по сей день не утихают: одни считают, что объемный текст отпугивает посетителей, другие специалисты вполне резонно считают, что сложный высокотехнологичный продукт трудно продвигать на рынке без подробного описания его технологических особенностей. Попробуйте протестировать разные варианты текста.
10. Что еще, кроме целевых страниц, можно проверить A/B-тестированием?
Сплит-тесты используются на любом этапе маркетинговой стратегии: для проверки рассылок, PPC-рекламы и элементов на любой странице основного сайта (например, список цен на странице прайс-листа).
E-mail-рассылки: тестируется тема оформления электронного письма, персонализация обращения к получателю и написание имени отправителя (инициалы или полное написание, должность и т. д.).
Рекламное объявление: тестируется заголовок, основной текст, текстовая ссылка, ключевые слова.
Сплит-тестирование можно разделить на два типа – Pre click (рассылки, трафик, баннеры, объявления и т. д.) и Post click маркетинг (целевая страница, основной сайт) – каждый из которых влияет на коэффициент конверсии.
11. Как мне найти результаты A/B-тестирований?
Необходимые вам сведения вы можете найти по следующими адресам: whichtestwon.com, visualwebsiteoptimizer.com и www.abtests.com.
12. Что мне делать, если я не доверяю результатам тестирования?
Если вы действительно не доверяете результатам A/B-тестирования и хотите исключить любые ошибки – лучшее, что вы сможете можно сделать, это запустить этот же тест снова. Относитесь к нему как совершенно отдельному тесту и посмотрите, сможете ли вы получить аналогичные результаты. Если собранные вами данные не слишком разнятся – вы можете доверять первоначальным результатам вашего тестирования.
13. Как часто нужно запускать А/Б-тестирование?
Это зависит от целей, которые вы преследуете, но в принципе вам следует руководствоваться поговоркой «чем чаще, тем лучше». Просто убедитесь, что каждый тест привел к неким положительным результатам. Если вы провели много тестов, но получили минимальные результаты – пересмотрите свою стратегию сплит-тестирования.
14. Что нужно, чтобы начать A/B-тестирование?
Лучший способ запуска A/B-тестирования заключается в использовании специального программного средства, предназначенного именно для этой цели.
Мы предлагаем вашему вниманию сплит-тест центр нашей платформы LPgenerator или такие системы как VisualWebsiteOptimizer, Optimizely, Эксперименты Google Analytics.
15. Какие еще нюансы проведения сплит-теста следует учитывать?
Сервис MECLABS провел исследование, посвященное нюансам и тонкостям, наблюдающимся при A/B-тестировании. Наиболее опасными из них считаются «исторический эффект» (History Effect) – логическая ошибка, приписывающая событиям во внешнем мире негативное влияние на результаты тестирования, и «инструментальный эффект», сводящийся к искажению результатов теста из-за ошибок программного обеспечения, применяемого для тестирования.
16. Нужно ли применять A/B-тестирование домашней страницы?
Конечно, почему бы и нет. Однако результаты такого теста будут крайне неубедительными и неоднозначны: домашняя страница получает «ядовитую смесь» из трафика от случайных/новых посетителей, от потенциальных и действующих клиентов. Основная сложность здесь заключается в том, чтобы настроить цели конверсии. С тем, какие элементы нужно тестировать, мы уже разобрались, а вот какие цели конверсии следует установить на главной странице? Здесь и заключается проблема сплит-тестирования главной страницы: ведь именно достижение целей определяет эффективность сплит-теста.
Понятно, что для нового пользователя конверсия – это регистрация или заполнение лид-формы, а вот что делать с остальными? В независимости от объема и типа входящего трафика, вы всегда можете тестировать CTA-элементы на главной странице вашего ресурса.
17.Что делать, если мой тестовый трафик никак «не хочет» делиться в соотношении 50/50?
Как правило, платформа на которой вы проводите тестирование, автоматически делит трафик между вариантами проверяемой страницы, иногда он делится в соотношении 50/50, а иногда и нет (представьте себе монету, о которой мы говорили выше). Так или иначе, с течением времени результат будет приближаться к пропорции 50/50, хотя в самом начале цифры могут быть и другие.
После получения определенного количества статистических данных, менее эффективные варианты будут получать меньше переходов, и пропорции распределения трафика также будут меняться.
Сплит-тест – это реальный и самый простой способ оптимизации конверсии сайта.
Вам нужна помощь? Команда LPgenerator к вашим услугам!
По материалам blog.hubspot.com
