На ежегодной конференции Conversions@Google 2016 Брайан О’Салливан (Brian O’Sullivan), старший менеджер по маркетингу в компании Dropbox, дал небольшое интервью, в котором ответил на ряд вопросов, касающихся проведения сплит-тестирований.
В этой статье мы остановимся на основных высказанных им идеях.
Подходы к сплит-тестированию: итеративный & инновационный
Самая большая разница между малыми и крупными компаниями, если говорить о проведении сплит-тестирований, заключается в том, что крупные компании могут позволить себе много итеративных, или повторяющихся, тестирований (iterative testing). В основном, все тематические исследования (case studies), которые встречаются в Интернете, касаются именно такого рода тестов. Например, часто можно встретить кейсы о том, как торговый гигант вроде Amazon изменил лишь цвет кнопки или заголовок и существенно увеличил продажи.
Для малых же компаний такие тесты не работают, поскольку они обеспечивают очень небольшой подъем показателей. В большинстве случаев это всего 1-2%. И если для Amazon 1% — это значительное увеличение, то для небольшой компании оно практически ничего не значит. К тому же такие тесты могут занимать довольно длительное время.
В случае с компаниями малых и средних размеров лучше всего работают инновационные тестирования (innovative testing), где меняются сразу несколько основных элементов сайта, вследствие чего существенным образом изменяется пользовательский опыт (user experience). К примеру, вы делаете полный редизайн целевой страницы или уменьшаете число этапов в процессе оформления заказа.
Один из рисков проведения инновационных тестов в уже давно сложившихся компаниях как, например, Google или Dropbox, заключается в том, что если они сделают ошибку в таком тестировании (даже если оно будет длиться лишь 1-2 недели), это значительно повлияет на их доходы.
Как преодолеть маркетинговое плато: итеративный и инновационный подход к сплит-тесту
Процесс тестирования в Dropbox
Компания Dropbox имеет тестировщиков в Европе, Азии и США. Все они придерживаются одного и того же процесса, одних и тех же стандартов. Это позволяет компании проводить много тестов одновременно. Dropbox не использует готовые решения, а имеет свой собственный инструмент тестирования.
Они первыми применили некоторые техники Growth Hacking, которые сейчас весьма распространены: предложили использовать их продукт бесплатно, предоставили пользователям возможность получать дополнительное место для хранения, если те приглашают в Dropbox своих друзей и знакомых, и т. д.
Доверие — неотъемлемая часть бренда Dropbox. Им важно, чтобы пользователи доверяли им свои данные. Поэтому если они пишут какой-то новый текст, даже если это просто заголовок, его всегда проверяют 2-3 человека, прежде чем его его увидят пользователи. От формирования идеи теста до фактического запуска может пройти от нескольких недель до месяца, в зависимости от теста.
Как Dropbox удается совмещать продажи B2C и B2B
У Dropbox есть 2 продукта: Dropbox Pro для частных лиц и Dropbox Business для рабочих групп.
Потенциальные пользователи Dropbox Pro, как правило, используют изначально базовую бесплатную версию, у них заканчивается место, и тогда им предлагается перейти на Dropbox Pro, имеющий гораздо больше преимуществ по сравнению с Dropbox Basic.
Маркетологи компании проводили тест на странице с тарифами, где заменили текст «10$ в месяц» на «Не дороже 3 чашек кофе в месяц». В результате конверсия увеличилась, так как сумма стала казаться пользователям менее значительной.
С Dropbox Business все немного сложнее. Потенциальный пользователь Dropbox Business думает о том, насколько сервис удобен в работе. Чтобы склонить их к принятию решения в свою пользу, Dropbox говорит о простоте использования своего продукта, о других компаниях, использующих его, о том, насколько безопасен Dropbox и т.д.
Как проводить сплит-тестирование при низком трафике
Есть 2 вещи, которые вы должны прояснить для себя. Во-первых, какого увеличения конверсии вы хотите. Если вы нацелились на большой подъем, то ваш тест должен проходить немного быстрее. И во-вторых, это количество конверсий. Если у вас их мало, скажем, менее 1000 в месяц, то завершение теста может занять длительное время. В этом случае тогда лучше смотреть на микро-конверсии, как, например, добавление товара в корзину.
С помощью таких инструментов, как Optimizely и VWO вы можете рассчитать, сколько времени займет у вас желаемое увеличение до разумной статистической значимости (statistical significance). Если вы обнаружите, что сплит-тестирование займет неприемлемо долгое время, используйте вместо этого пользовательские тесты (user tests). Хотя они и не дают количественных данных, зато обеспечивают невероятное число качественной информации. Допустим, кто-то может указать на то, что он не понимает этот конкретный заголовок. Да, вы не будете знать с количественной точки зрения, работает данный заголовок или нет, но вы будете знать, что по крайней мере один человек не понимает того, что он означает. И если провести много таких тестирований, это может оказаться весьма эффективным. Кроме того, в то время как сплит-тесты могут длиться 2 месяца и указать вам в итоге на один факт — какой из вариантов лучше, 5-минутный пользовательский тест может сказать вам 10 разных вещей о том, что хорошо, а что плохо на вашей странице.
В идеальном мире мы бы имели совершенные данные, но в реальности не всегда так бывает. Поэтому если вы проводите тестирование, и у вас нет статистической значимости, но один вариант проявляет себя лучше, чем другой, то это лучше, чем отсутствие вообще каких-либо данных. Не стоит забывать о статистике, но в то же время она не должна вами управлять.
И напоследок, будьте всегда в курсе проблем ваших пользователей. Даже в таких крупных компаниях как Dropbox и Google есть люди, которые всегда общаются с клиентами и помогают устранить их проблемы. Решение потребностей ваших пользователей — это самый верный путь к победе.
Высоких вам конверсий!
По материалам: conversion-rate-experts.com, image source: IN 30 MINUTES Guides
