3000 лет назад древние греки здорово продвинулись в разработке инноваций. Они придумали катапульты, водопровод и, конечно же, алфавит. Современные буквы А и В произошли от греческих Альфы и Беты. Впрочем, и сами Альфа и Бета сегодня широко используются — например, в качестве математических терминов. В статистике Альфа и Бета тоже очень важны при анализе различных тематических гипотез, в том числе в ходе сплит-тестирования. Однако на практике они часто игнорируются, и совершенно напрасно.
В интернете можно найти немало онлайн-калькуляторов для сплит-тестов.
Они помогают сравнивать конверсии разных вариантов страниц, используя результаты проведенных исследований. Однако многие из них либо не учитывают влияние коэффициентов Альфа и Бета, а если и учитывают, то не дают корректировать величину самих коэффициентов. Между тем, конкретное значение коэффициентов Альфа и Бета может оказать решающее влияние на результаты тестов.
От греков к гикам
Древние греки начали адаптировать алфавит древних финикийцев в 800-тых годах до н.э. В финикийском алфавите с каждой буквой было связано определенное существительное. Например, буква Альфа (α) символизировала вола, а буква Бета (β) обозначала дом. В целом же буквы в алфавите располагались по степени их значимости для выживания.
В 2016 году буквы α и β символизируют более 30 различных определений в математике, физике и других науках — в том числе нашли они свое отражение и в статистике.
Что такое Альфа?
Альфа — это очень важная в мире статистики величина, связанная с рядом других ключевых понятий, влияющих на сплит-тестирование и определяющая, насколько точными будут результаты тестов.
Альфа математически взаимосвязана с такими показателями как:
- p-значение (p-value). Это величина, используемая при тестировании статистических гипотез. Фактически это вероятность ошибки при отклонении нулевой гипотезы;
- значимость (Significant), то есть взаимная связь между двумя группами наблюдений, позволяющая выявить различие между ними. Пожалуй, самый сложный для понимания термин, поскольку само слово может ввести в заблуждение;
- уровень доверия к результатам (Confidence Level).
При этом все эти три показателя, а также сам коэффициент Альфа, часто путают между собой. Чтобы внести ясность, стоит разобраться, как эти понятия соотносятся друг с другом.
Альфа — это вероятность того, что в ходе тестов вы получите положительные результаты, хотя на самом деле они не будут являться таковыми.
Это так называемая ошибка первого типа.
Конкретное значение Альфы вы выбираете в ходе настройки сплит-теста. От него зависит, насколько точным результатам вы готовы доверять. Например, вы выберете значение Альфы равное 0,05 (стандартный уровень). Значит, вероятность того, что вы получите ложные результаты о повышении конверсии сайта, будет составлять 5%. Соответственно, чем меньше значение этого коэффициента — тем более точными будут результаты теста.
Достаточно ли вам быть уверенными на 95%? Решать вам.
Что такое Бета?
Когда мы слышим «бета», на ум чаще всего приходит программистский термин «бета-тестирование». Почему, кстати, его называют именно бета-тестирование?
Возвращаясь к концепции иерархии букв в финикийском алфавите, альфа-тест в индустрии программного обеспечения является первым испытанием новой программы самими разработчиками, в то время как бета-тестирование выполняется уже сторонними пользователями после первичной обкатки.
В статистике бета (β) тоже играет вторую скрипку. Однако установить оптимальное значение для Беты порой не менее важно, чем для Альфы.
Что же такое Бета? Во многом этот термин является продолжением и противоположностью Альфе.
Бета — это вероятность того, что вы получите отрицательные результаты тестов, хотя на самом деле они не будут являться таковыми.
Неправильный выбор значения Беты потенциально может привести к тому, что отличная идея, на самом деле улучшающая конверсию сайта, может быть отвергнута из-за ошибочных результатов теста. Это ошибка второго типа.
Отношения между Альфа и Confidence level (уровнем доверия) такие же, как между Бетой и Statistical Power (статистической мощностью), то есть вероятностью получить «истинный положительный результат»:
Statistical Power = 1 - Бета
Этот показатель характеризует устойчивость тестов к ошибкам второго типа.
Статистическая мощность напрямую связана с размером выборки, так что лучший способ повысить ее — просто увеличить выборку.
Если вы хотите быть уверенными, что из-за статистической погрешности не пропустите значительное повышение конверсии, то стоит установить начальное значение Беты как можно ниже.
При этом, как ни странно, большинство онлайн-калькуляторов, о которых мы говорили выше, по умолчанию устанавливают для Беты значение 0,20. То есть у вас 20% шанс получить ложно отрицательный результат! Поэтому, если вы хотите получать более точные результаты — не стоит ориентироваться на это значение.
Конечно, есть еще компромиссный вариант — компенсировать высокий шанс ошибки за счет увеличения объема выборки. Стоит ли идти на этот компромисс — решать тоже вам.
В любом случае — зная о важности показателя Бета, вы определенно захотите знать, какое его значение по умолчанию используется в программном обеспечении для сплит-тестов, а также захотите контролировать эту переменную самостоятельно.
Что такое Сигма?
В статистике Сигма (σ) — это стандартное отклонение от среднего значения, и вычисляется оно как квадратный корень из Variance (дисперсии). Это один из самых полезных и важных показателей в статистическом анализе. И тоже, к сожалению чаще всего не используется при тестировании веб-сайтов.
Почему?
Для того чтобы вычислить стандартное отклонение, вам нужно использовать то, что называется переменными данными. Примером может служить измерение размера детали автомобиля на заводе. Измерив большую группу одинаковых деталей, вы узнаете их средний размер, а также стандартную величину отклонения от этого размера. Эти показатели позволят вам держать производственный процесс под контролем.
Когда же мы смотрим на данные, полученные в ходе сплит-тестов, мы, как правило, оперируем процентами. То есть какой процент пользователей кликнул по кнопке добавления в корзину, по кнопке регистрации и так далее. Здесь нет средних значений и нет отклонения от них — только проценты от общего числа пользователей. Это все равно, что подбрасывать монетку 100 раз. Вы получаете только количество выпавших «орлов» и «решек», и здесь нельзя рассчитать средние значения или стандартные отклонения.
Тем не менее, многие значения, получаемые в ходе сплит-тестов, вариативны (Variation). Это понятие часто путают с дисперсией (Variаnce), но это не одно и то же.
Различия в демографических данных пользователей, в типах устройств, в моделях конверсии являются примерами различий, наблюдаемых в ходе сплит-тестирования. Чтобы перейти от вариации к дисперсии, вам нужен еще один слой данных, который присваивает всему конкретное численное значение, а затем измеряет разность между этим значением и тем, что наблюдается в течение долгого времени. Такое возможно и при тестировании веб-сайтов, но не в рамках классических сплит-тестов.
Высоких вам конверсий!
По материалам blog.crazyegg.com, Image Source: MelkiaD
