Google тестируют абсолютно все. Пользовательские интерфейсы, модели таргетинга рекламы, даже вопросы для найма на работу. Так, команда протестировала 41 оттенок синего цвета, чтобы добиться наибольшего значения CTR для ссылок в поисковой выдаче. Одно из главных преимуществ сплит-тестирования — любое утверждение, даже весьма распространенное, не должно приниматься на веру. Это дает вам возможность проверить что угодно.
Однако, как поясняет Ллойд Тэб (Lloyd Tabb), основатель сервиса Looker, данный подход не работает на ранних стадиях существования SaaS-стартапа. Ключевой ингредиент, необходимый для проведения сплит-тестов, как правило, отсутствует у большинства таких проектов. Это объем пользовательского трафика, и Google очень сильно нагрел на этом руки. На рисунке — скриншот A/B-тестирования компании Optimizely:
Для выявления 20%-ного изменения целевой метрики с 90%-ной статистической значимостью при 3%-ной конверсии потребуется трафик объемом в 12 000 человек на один вариант. На оба варианта потребуется 24 000 посетителей.
Проблема трафика и ее решение
На самых ранних этапах SaaS-компаниям просто не хватает посетителей, чтобы достичь статистической значимости в несколько дней или даже недель. Для некоторых софтверных компаний достижение подобных значений потребует месяцы и кварталы, проведенные в жесткой конкурентной борьбе за место на рынке.
Выходом из данной ситуации не станет понижение уровня статистической значимости или запуск тестов на малой аудитории. Решения подобного рода приведут вас к получению искаженных данных и совершению неверных действий.
Так что же следует сделать владельцам SaaS-стартапов на ранней стадии развития, чтобы определить лучшую ценовую стратегию, дизайн продукта или посадочной страницы? Использовать качественные исследования: интервьюирование пользователей о причинах, лежащих в основе их точки зрения в отношении цены; просмотры видеозаписей того, как люди впервые знакомятся с вашим продуктом, изучают его; проведение фокус-групп и пр.
В малом масштабе интуиция и качественные исследования оказываются более предпочтительными, нежели статистический анализ. И дело не в том, что статистический анализ хуже. С помощью последовательного проведения сплит-тестов и анализа большого объема данных таким гигантам, как Google, год от года удается повышать прибыльность своего бизнеса на 1-5%.
Но этот тип исследований не является приемлемым на ранней и даже средней стадии развития SaaS-стартапов. Именно поэтому и существуют альтернативные методики — возможно пришло время присмотреться к ним.
Высоких вам конверсий!
По материалам: tomtunguz.com
