Если вы регулярно изучаете кейсы по оптимизации конверсии и сплит-тестированию, то наверняка сталкивались с подобными примерами: «Изменение одного элемента увеличило количество лидов на 85%, статистическая достоверность теста составила 97%».
Что на самом деле означают эти данные, и почему маркетологи так любят говорить о статистической точности?
Роль случайности в процессе тестирования
Вернемся к первому примеру: увеличение конверсии в лиды на 85% с 97% статистической точностью. Если бы мы смотрели на результаты этого эксперимента как на чистую случайность, то замечали бы только увеличение на 85%, ведь оставшиеся 3% крайне малы, чтобы воспринимать их всерьез.
Поэтому мы можем вычислить с 97% точностью, что результаты не случайны.
Сегодня большинство сплит-тестов не могут похвастаться такой точностью. Существует множество внешних факторов и переменных, которые способны исказить данные исследований (случайность выборки, время и даже технические проблемы).
Миф о точности тестов
Значительная часть маркетологов ставит вопрос подобным образом: должна ли статистическая точность играть роль в тестировании лендингов? Специалисты по маркетингу придерживаются мнения, что сама точность и даже конверсия, взятая «в чистом виде», напрямую не влияет ни на конечную прибыль, ни на прочие показатели воронки продаж.
Утверждение незначительной статистической достоверности — уловка крупных агентств, которые до бесконечности тасуют данные, пока не получат красивую цифру для своего портфолио — 100%.
Есть мнение, что точность лишь фиксирует результат оптимизации в определенном сегменте. Никто не может сказать с абсолютной уверенностью, увеличится ли количество лидов на самом деле на 85%. Такой результат не гарантирован, именно поэтому очень важно управлять тестированием на всех этапах.
Так ли важна статистическая достоверность?
Не стоит пренебрегать данными — лучше взглянуть на положение вещей в свете сложившегося контекста. Например, на вопрос «Как измерить коэффициент конверсии» специалисты по маркетингу часто советуют ждать, пока на лендинг не придет достаточное количество трафика.
Но даже трафик в десятки тысяч посетителей не всегда приводит к изменениям, связанным со статистической точностью. Посмотрите на этот пример:
Пример от Marketizator показывает примерно 250 000 просмотров на 100 000 посетителей на обоих вариантах лендинга. При этом показатели конверсии почти равны (0,13 и 0,12%).
С другой стороны, у вас может быть гораздо меньше посетителей и просмотров при статистически значимом результате.
В данном случае получен статистически подтвержденный результат независимо от трафика. Но как управлять сплит-тестами с высокой точностью, владея данной информацией?
Включите все данные
Если бы существовал калькулятор A/B-тестирования, выдающий статистически точные ответы, то как бы это выглядело? Между тем в приведенном примере такой результат достигнут на практике с помощью диаграмм в Excel и Google Docs.
Посмотрим на реальный пример.
Допустим, вы хотите провести сплит-тест по определению влияния цвета CTA-кнопки на конверсию. Тестируется 2 варианта: красный и зеленый. Это обычный тест, который проводит практически каждая компания.
Калькулятор A/B тестирования*
* по вертикали показана плотность вероятности, по горизонтали — конверсия, %
По результатам сплит-теста были получены следующие результаты: красный цвет — 12 кликов из 132 просмотров, зеленый цвет — 14 из 125. У зеленой кнопки небольшое преимущество. Но не простая ли это случайность? Загрузка данных в «калькулятор» приводит к результату:
У зеленого цвета вероятность победы 73%.
Хороший результат, не правда ли? Об этом говорит простая арифметика еще до применения калькулятора. Но, как показывает результат, калькулятор сплит-тестирования досрочно убеждает маркетологов в преимуществе зеленого цвета.
Конечно, это простой пример. Скорее всего, ваши тесты не всегда будут давать столь очевидный результат. Именно тогда хорошо произвести расчеты с помощью калькулятора, получив в итоге необходимое значение.
Можно ли применять метод и к А/А тестам?
Многие эксперты оптимизации конверсии рекомендуют проводить именно А/А-тесты перед А/В-тестированием.
A/A-тест — это, собственно, тестирование условий испытания. С его помощью, показывая 2 группам испытуемых одинаковый вариант лендинга, маркетолог убеждается, что контрольные группы для сплит-теста подобраны корректно.
Если показатели конверсии у разных групп не превышают статистической погрешности, то тест подготовлен правильно. Именно на подготовительном моменте может возникнуть критическая ошибка, способная радикально изменить результаты теста.
Ошибка статистической точности
Но ведь мы стремимся к статистической точности в наших тестах! Что же может исказить процесс тестирования и как избежать этого?
Если сложные уравнения совсем запутали вас, то есть простой калькулятор расчета количества посетителей для достижения статистического подтверждения на evanmiller.org. Вот вам и выход из ситуации.
Заключение
Оптимизация конверсии — это и наука, и искусство одновременно. Нет однозначного мнения о влиянии статистической точности во всех возможных случаях, ведь результаты часто противоречат цифровым выкладкам и прогнозам.
Никакой тест не гарантирует вам 100% точности — вы изучаете поведение живых людей, а проявления человеческого фактора в известной степени непредсказуемы.
Когда вы примете обозначенные факторы во внимание, то будете лучше подготовлены к тестированию своих лендингов и рекламных кампаний в целом.
Высоких вам конверсий!
По материалам blog.kissmetrics.com, image source Joona Kotilainen
