Итак, ваш сайт или лендинг успешно запущен, объемы входящего трафика увеличиваются с каждым днем, и вы вполне готовы протестировать новый контент, чтобы оптимизировать конверсию. Или же с тестами нужно повременить?
Ответ на этот вопрос кроется в волшебном слове, которое на протяжении десятилетий продолжает пугать даже профессиональных маркетологов: статистика. Одни считают, что этот термин подразумевает сортировку, организацию и анализ данных. Другие ассоциируют его со списком веселых фактов (к примеру, «Более, чем 50% американцев засыпают на боку»), представленных в графической или табличной форме.
% Взрослых, которые спят: 1. На боку, 2. На спине, 3. На животе, 4. Ни одно из вышеперечисленного
На самом деле данный термин определяется примерно так:
«Статистика — это наука, которая имеет дело с сбором, классификацией и анализом данных числового характера по любой тематике»
Говоря проще, статистика предоставляет вам много полезной информации, но суть в том — как именно вы распорядитесь этими сведениями. Знание фундаментальных основ статистики позволит вам совершенствовать ваши сплит-тесты, заранее решать, сколько трафика вам понадобится в идеале, и анализировать полученные результаты более эффективно.
Несколько концепций
Пытаясь применить статистические инструменты без понимания базовых принципов этой науки, вы будете походить на человека, который пользуется калькулятором, но не умеет считать в уме. К сожалению, в современном мире оба сценария становятся все более распространенными, ведь технологии затрагивают практически каждый аспект нашей жизни.
Чтобы вы не попались в эту ловушку, опишем несколько инструментов, которые помогут определить готовность вашего сайта к проведению сплит-тестирования.
Типы данных
Ежедневно мы сталкиваемся с двумя основными типами данных:
- Категориальные данные такие, как «орел или решка», «мужчины или женщины», «да или нет», в статистике также известны как атрибутивные.
- И числовые, или переменные данные — «мужчина ростом 1,85 м», «дом площадью 350 кв. метров» — которые специалисты часто называют переменными.
В целом, переменные данные предоставят вам больше информации, поскольку здесь используется бесконечное количество значений, но все же атрибутивную информацию намного проще понять и проанализировать.
Так как сплит-тесты относятся к категории «да или нет», хорошая новость заключается в том, что преимущественно вы будете работать с атрибутивными данными.
Достоверность данных
Достоверность является одной самых простых статистических концепций, поскольку в статистике она определяется точно также, как и в повседневной жизни. Прежде чем задействовать трафик в сплит-тестировании, вы должны задать себе вполне логичный вопрос: «Насколько я могу быть уверен?». Или выражаясь более конкретно, «Насколько я могу быть уверен, чтобы полученные результаты окажутся верными?»
1. Уровень достоверности
Уровень достоверности (confidence level — CL) дает вам ответ на этот вопрос, выраженный в процентах. Если уровень вашей уверенности составляет 95%, это значит, что вы на 95% убеждены в правдивости результатов. Скоро вы поймете, что размер выборки при проведении сплит-тестов во многом зависит именно от этого показателя.
2. Интервал достоверности
Интервал уверенности — это родственная величина, демонстрирующая диапазон, в котором с 95% (или любой другой в зависимости от вашего CL) вероятностью содержится «реальное» значение. Когда вы говорите: «Я на 95% уверен в том, что 60-70% покупателей отдали предпочтение сайту А», ваш интервал достоверности равен диапазону 65%5%.
3. Допустимая погрешность
Допустимая погрешность — это частица «5%» из предыдущего описания. Вы должны помнить о том, что для получения меньшей погрешности вам придется увеличить выборку. Подумайте, хватит ли у вас трафика, чтобы протестировать достаточное количество вариантов?
Слева — допустимая погрешность/размер выборки, справа — уровень достоверности/размер выборки
Размер выборки
В Сети вы можете найти множество калькуляторов, позволяющих рассчитать размер выборки, поэтому мы не станем расписывать здесь никаких формул. Просто убедитесь в том, что вы пользуетесь инструментом, предназначенным для работы с атрибутивными данными или пропорциями.
Важным моментом является то, что и высокий уровень достоверности, и низкая допустимая погрешность подразумевают больший размер выборки. Чтобы выяснить, хватит ли вам трафика для запуска такого масштабного сплит-тестирования, вам понадобится следующая информация:
1. Общее количество веб-трафика (количество пользователей, пришедших на сайт в определенный период времени)
2. Ваш желаемый уровень достоверности.
3. Ваша допустимая погрешность.
Помните, что размер выборки и ваш трафик (или все пользователи) — это два разных, но взаимосвязанных показателя. Чем больший процент вашей аудитории охватывает выборка, тем более достоверными будут результаты.
Искажение и шум
Искажение: 9 из 10 стоматологов
Помните рекламу зубной пасты, в которой говорилось, что 9 из 10 стоматологов порекомендовали ее своим пациентам? Если бы все эти доктора работали на компанию-производителя, это было бы ярким примером статистического искажения. Чтобы избежать этого, вам необходимо включать в выборку вашего сплит-теста как можно более случайные сегменты аудитории.
В классической книге 1950-х годов под названием «Как лгать при помощи статистики» (How to Lie with Statistics) приведено множество забавных примеров таких искажений. В добавок ко всему, автор рассказывает, как посредством статистики можно ввести в заблуждение или дезинформировать население. Большинство методик по-прежнему остаются актуальными, даже спустя 60 лет.
Дарелл Хафф (Darrell Huff) — «Как лгать при помощи статистики»
Шум: соблюдайте тишину
Статистический шум (помехи) похож на искажение, однако эту проблему нельзя решить, сделав выборку случайной. Думайте о шуме как о неожиданном и непреднамеренном событии, которое происходит посреди вашего сплит-тестирования и изменяет привычное онлайн-поведение пользователей.
Дабы избежать негативных последствий шума, вам нужно распланировать ваше исследование на определенный период (по меньшей мере неделю), ведь благодаря такому подходу обстоятельства одного дня будут влиять на конечный результат в меньшей степени.
Реальный пример
Представьте, что вы запустили новый eCommerce ресурс примерно полгода назад. Вы заметили, что трафик растет, и теперь сайт привлекает свыше 3000 посетителей каждую неделю (3182 по последним данным). У вас возникла классная новая идея для обновления целевой страницы, но вы не хотите портить вашу 30%-ную конверсию!
И все-таки вы решились провести сплит-тест, чтобы увидеть, как новый лендинг скажется на конверсии ресурса. Но хватит ли у вас трафика?
Прежде всего, определите ваш желаемый уровень достоверности. В данном случае мы остановились на 95%:
После этого вы должны указать интервал достоверности (на самом деле это допустимая погрешность, но в этом калькуляторе они называют ее интервалом достоверности). Если вы хотите быть на 95% уверенными в том, что ваши результаты будут точны с погрешностью 
7%, вам нужно вписать в соответствующее поле цифру «7».
В графе Population («Трафик») просто укажите количество посетителей, пришедших на сайт в течение заданного периода времени. Убедитесь в том, что этот временной промежуток совпадает с продолжительностью вашего сплит-тестирования.
Когда вы нажмете Calculate («Рассчитать»), в поле Sample size needed появится число 185. Помните, что во время теста вам нужно будет проверять как новые, так и контрольные страницы, а потому полученный размер выборки необходимо умножить на два: 185 х 2 = 370. Таким образом, у вас вполне достаточно трафика для проведения данного теста с желаемым уровнем и интервалом достоверности.
Калькулятор >>>
Результаты: что делать со всем этим?
Если вы грамотно подберете размер выборки, полученные результаты дадут вам четкое представление ситуации, на основе которого вы сможете принимать правильные решения.
Результаты: сравнение интервалов достоверности лендингов A и B
Говоря в общем, если графики двух распределений не пересекаются, между двумя тестовыми группами действительно прослеживается весомая разница. Это справедливо как для атрибутивных, так и для переменных данных.
В приведенном выше примере график конверсии вашей контрольной группы, с учетом погрешности, не пересекается с результатами оптимизированного лендинга, что свидетельствует о значительных улучшениях.
Вместо заключения
Сплит-тестирование может быть бесценным инструментом в сегодняшней ультра-конкурентной CRO (conversion rate optimization) среде. Освоив базовые статистические концепции, вы научитесь лучше разбираться в ваших данных и поймете, когда трафик вашего ресурса достигнет уровня, который позволит провести эффективный сплит-тест.
Высоких вам конверсий!
По материалам: blog.crazyegg.com
