Ранним утром 24 сентября 2015 года Кайл Раш, директор по проектированию и оптимизации предвыборной кампании Хиллари Клинтон (Hillary Clinton), оставил простой и незатейливый твит следующего содержания:
Наконец-то мы сумели найти самого уверенного победителя за всю историю сплит-тестов, что были проведены по ходу кампании Хиллари. К сожалению, многого сказать пока не могу.
Вероятно, вы никогда не слышали о Кайле Раше. Человек он точно не публичный. Более того — его восторг в Twitter был встречен довольно прохладно. Так зачем же, спросите вы, вовсе уделять этому моменту внимание? Всего лишь один не очень понятный твит и какое-то сплит-тестирование.
А все затем, что Кайл и подобные ему оптимизаторы конверсии являются лидерами отрасли и способны влиять не только на бизнес, но и на политику.
Кайл — бывший глава отдела оптимизации компании Optimizely, который сумел привлечь на очередном этапе финансирования $58 000 000, и он же реализовал более 500 различных сплит- и мультивариантных тестов для кампании «Обама для Америки» (Obama for America). Сейчас он является директором проектирования и оптимизации проекта «Хиллари для Америки» (Hillary for America).
Можно ли говорить, что наука и выдающиеся успехи в деле CRO могут предопределить то, кто в итоге победит на грядущих выборах в США? Чтобы утверждать подобное, нужно иметь на руках ряд неоспоримых доказательств. Рассмотрим их ниже.
Краткая история президентских A/B-тестирований
Согласно сервису Maketizator, сплит-тестирование — метод оптимизации, в ходе которого в исходную страницу (Вариант A) вносят конкретное изменение (Вариант B), а затем производят замер результатов, то есть того, как на это изменение отреагируют посетители. Вариант, который конвертирует лучше, и выигрывает соревнование. Такой тип исследований подходит для улучшения различных онлайн-показателей, например, CTR, количества подписчиков на email-рассылку, репостов и, конечно же, числа транзакций.
В 2008 году оптимизация предвыборных кампаний кандидатов на пост главы государства была еще в новинку. Дэн Сирокер (Dan Siroker), директор по аналитике в предвыборном штабе Барака Обамы, описал это так:
«Моя роль заключалась в том, чтобы, используя базу данных, способствовать принятию верных решений в ходе предвыборной гонки. Мы начали с одного простого эксперимента еще в декабре 2007 года. Эксперимент научил нас, что каждый посетитель сайта — это возможность, а проведение сплит-тестирований и оптимизация сайта позволит увеличить шансы на успех и собрать десятки миллионов долларов».
Результаты работы Сирокера ошеломляют. Тестируя рядовые онлайн-элементы (к примеру, разные призывы к действию), ему удалось повысить уровень подписок на email-рассылку до 40,6%, что позволило Обаме в короткие сроки набрать еще 2 800 000 новых подписчиков, 288 000 волонтеров и примерно 60 000 000 долларов в виде пожертвований.
Предвыборная кампании Обамы в 2012 году имеет похожую историю. За целый год команда провела более 500 тестов. Кайл Раш комментирует:
«Мы оптимизировали все: от страниц сайтов до электронных писем — что повысило процент пожертвований на 49 пунктов, а процент подписок — на 161».
Возможно, самым удачным вкладом команды Кайла в победу кандидата стала разработка технологии Quick Donate (в переводе с англ. — «быстрое пожертвование»), которая сделала возможным делать взносы в один клик даже через SMS. В итоге Quick Donate воспользовалось порядка 1,5 миллиона человек, чей совокупный взнос составил $115 000 000. Еще более удивительно, что, используя Quick Donate, люди жертвовали в 4 раза чаще, а сумма взноса была в 3 раза больше по сравнению с традиционным методом сбора средств.
Эти цифры впечатляют. Но не стоит думать, что за всем этим стоит какое-то волшебство. В сплит-тестировании нет ничего сложного. Чтобы продемонстрировать это (а заодно и объяснить, как вы сможете использовать его в своем бизнесе), рассмотрим несколько ярких примеров сплит-тестов кандидатов на президентский пост США в 2016 году.
1. Цвет фона всплывающих окон
Тест для кампании Хиллари Клинтон.
Во-первых, этот пример теста показывает, насколько простыми они могут быть в принципе. Оптимизаторы сравнивают между собой варианты, отличающиеся друг от друга лишь цветом фона. Во-вторых, в тесте была изучена одна из самых недооцененных, но эффективных онлайн-технологий: всплывающее (popup) окно. Какую бы отрицательную славу эти инструменты не снискали, они по-прежнему остаются невероятно результативными.
К примеру, сервис GetResponse, который специализируется на сплит-тесте электронных писем, сообщает, что владельцам небольшого семейного бизнеса по продаже нижнего белья удалось зарегистрировать 3 017 новых подписчиков (втрое больше имеющейся базы), всего лишь реализовав на сайте сообщение о 20%-ой скидке в формате popup-окна.
Для Хиллари Клинтон адреса электронной почты столь же жизненно необходимы, поэтому на ее сайте popup-окна появились практически сразу же.
2. Цвет CTA-кнопки
Сплит-тест страницы кандидата в президенты Бена Карсона (Ben Carson).
Еще один шокирующе простой сплит-тест.
Кажется, что цвет кнопки является несущественным фактором на странице и не влияет на ее конверсионные качества, верно? Нет. Уже давно доказано, что то, в каком цвете представлена кнопка, и даже цвет текста на ней, влияют на уровень конверсии.
К примеру, агентством Unbounce как-то было проведено сплит-тестирование, в ходе которого друг с другом сравнивались два варианта кнопки: одна была зеленого цвета с белым текстом, другая — черного с желтым. Кто победил? Несмотря на то, что сочетание черного и желтого кажется непривлекательным, именно этот вариант сконвертировал на 14,5% больше людей.
3. Заголовки
Заголовок — это самый читаемый элемент на всей странице. Это значит, что простейший тест заголовков может привести к большой удаче. К примеру, агентство Visual Website Optimizer сообщает, что тест двух заголовков (A) Natural Joint Relief и (B) Natural Joint Relief Supplement, в котором победил второй вариант, позволил компании увеличить процент продаж на 89.97%.
В случае Карсона были сравнены друг с другом безличная форма глагола (Receive a Free Bumper Sticker, «Получите бесплатную наклейку на бампер») и личная форма (I’ll Send You a Bumper Sticker, «Я вышлю вам стикер на бампер»).
4. Картинки или видео?
Сплит-тест страницы кандидата в президенты Марко Рубио. На верхнем изображении представлена его фотография, на нижнем — видео с его участием.
Принято считать, что видео конвертирует лучше изображений. Данное мнение расхожее, хоть и весьма спорное. Однако это не имеет ровно никакого значения, поскольку главный принцип A/B-тестов — не предполагать, а проверять. Вот почему тест Марка Рубио (Marco Rubio) является ключом к формированию культуры проведения сплит-тестов в вашей организации.
Как организовать сплит-тест самостоятельно?
Чтобы правильно организовать и провести сплит-тест, следует придерживаться 6 базовых принципов:
1. Размер имеет значение
Прежде чем вы запустите свой первый тест, убедитесь, что вы располагаете достаточно большим пулом данных, позволяющим получить точные и статистически значимые результаты.
Естественно, необходимый размер выборки будет зависеть от среднего объема трафика, проходящего через ваш сайт, и текущего показателя конверсии.
Не стоит подводить итоги тестирования преждевременно, особенно при небольшой выборке. Возьмите за правило считать «победителем» тот вариант теста, который посетили не менее 1 000 человек и который сконвертировал около 150 из них.
2. Построение гипотезы на первом месте
Еще одна распространенная ошибка новичков: запускать тест без четко сформулированной гипотезы. Успех тестирования во многом зависит от качества, заложенного в начале теоретической основы.
Гипотеза не обязательно должна быть сложной. К примеру, вы можете следовать такой простой схеме: «Я предполагаю, что изменение элемента А на В приведет к получению определенного качественного и количественного результата».
Гипотезу для сплит-теста заголовков Бена Карсона можно сформулировать следующим образом: «Я предполагаю, что изменение безличной формы заголовка на личный способствует получению более прямых обращений (качественный результат) и, следовательно, повысит число заполненных лид-форм (количественный результат).
Сформулированная на старте теста гипотеза поможет вам четче понять свои ожидания от теста, а также создать объективные критерии для оценки результатов.
3. Начните с малого
Все тесты, перечисленные выше, являются небольшими, и это не случайно.
Для начала выберите какой-либо один элемент на странице — заголовок, цвет фона, текст призыва к действию и т.д. — и тестируйте его так долго, чтобы удалось собрать достаточно данных, позволяющих сделать конкретный вывод, понять, какой из вариантов лучше. Действуйте последовательно. Никогда не стоит недооценивать силу небольших изменений.
*эта рекомендация идет вразрез с концепцией дедуктивного метода оптимизации конверсии. По нашему мнению такой подход актуален только для высоконагруженных проектов.
4. Разделяйте мобильный и десктопный трафик
Никогда не смешивайте в одном тесте разные виды трафика, ведь они сильно отличаются друг от друга. Конечно, гораздо проще провести один тест для всех посетителей, но тогда вы получите сильно искаженные данные.
Шанель Маллин (Shanelle Mullin), автор блога ConversionXL, объясняет это так:
«Объемы мобильного и десктопного трафика, как правило, сильно отличаются, и всегда есть вероятность, что то, что сработало для мобильных юзеров, не сработает для десктопных, и наоборот. Стоит отметить, что и сам по себе мобильный трафик имеет сложную структуру (есть «яблочники», есть пользователи Android-устройств, есть планшеты и смартфоны и т.д.), и если его рассматривать в совокупности с декстопным трафиком, можно многое упустить и прежде всего то, что обусловлено сложной структурой этого трафика.
Если вы не будете разделять трафик, полученные результаты будут иметь весьма обобщенный характер, а это не принесет большой пользы для оптимизаторов».
5. Измеряйте и ждите
Оценка статистической значимости — вещь не простая и очень мудреная. В статистике величину называют статистически значимой, если мала вероятность её случайного возникновения или еще более крайних величин. Собственно, ваша задача — получить такое значение, при котором утверждение, что тот или иной вариант является более успешным, будет неслучайным. Тест ни в коем случае не будет считаться завершенным, если вы не получите статистическую значимость в пределах 95%.
Чтобы узнать об этом подробнее, обратите внимание на статью Что такое статистическая значимость при оптимизации конверсии? >>>
Калькулятор выборки. Допустим, вы начинаете с невысокого уровня конверсии в 1,5%. 75% — этот минимальный порог изменения показателя конверсии, который вы хотели бы обнаружить. При таких исходных значениях необходимый размер выборки должен составлять 1 613 человек на каждый вариант.
6. Используйте результаты сплит-тестов по-максимуму
Как только вы определили явного победителя (например, личная форма глагола в заголовке веб-формы увеличивает вероятность ее заполнения на 50%), используйте это знание и для других областей сайта.
Если вы знаете, что определенные цвета, конкретные призывы к действию или особенности обращения работают в одной области, возможно, они сработают по всем остальным направлениям.
Конечно, не стоит думать, что такой подход будет результативным всегда, но почему бы не попробовать.
Заключение
Хотя возможность проверить верность оценок Кайла Раша в отношении предвыборной кампании Хиллари Клинтон представится лишь осенью, неизменным остается одно: проведение сплит-тестов, даже на уровне президентской гонки, — дело не такое уж и сложное, однако оно может привести к невероятному успеху.
Пусть вас не пугает такое слово, как «оптимизация». Просто придерживайтесь 6 принципов, о которых было сказано выше и, возможно, следующим, кто достигнет ошеломляющего успеха на этом поприще, станете именно вы.
Высоких вам конверсий!
По материалам: simplymeasured.com
