Если вы — ответственный маркетолог, то у вас наверняка скопилось много идей по сплит-тестированию. Одни из них хороши (потому что подкреплены данными и тщательным анализом), другие похуже, а третьи — просто непонятно, как оценивать.
Увы, но быстро протестировать все интересные задумки невозможно — как минимум, из-за ограниченного трафика. Поэтому важно расставлять приоритеты по идеям так, чтобы в первую очередь тестировались самые многообещающие.
Но как этого добиться?
Существует множество моделей приоритизации. Все они отчасти полезны, но упускают некие аспекты. Поэтому маркетолог и CRO-специалист Пип Лайа (Peep Laja) решил разработать свою, универсальную модель.
Что не так со старыми моделями?
Знаменитый британский статистик Джордж Бокс (George E. P. Box) говорил: «По сути, все модели ошибочны, но некоторые из них полезны».
Если вы не новичок в оптимизации, то наверняка слышали о схемах приоритизации. Две самые популярные — PIE и ICE. Обе они полезны, у обеих есть слабые места.
PIE
PIE-фреймворк (акроним от трех слов — Potential, Importance, Ease), пожалуй, наиболее известен в мире оптимизации конверсии. Он включает 3 переменные:
Потенциал — сколько улучшений можно сделать на страницах?
Важность — насколько ценный трафик на страницах (его объем и пр.)?
Простота — насколько сложно протестировать страницу или шаблон?
В данной схеме критерий каждой переменной оставляет пространство для интерпретаций. Например, как объективно определить потенциал тест-идеи? Ведь знай маркетолог это заранее, ему не понадобились бы модели. Или представьте: вы член большой команды и хотите реализовать свою идею, так почему бы не накинуть пару баллов к потенциалу (все равно ведь, цифра субъективна)? В идеальном мире, схемы должны исключать «человеческий фактор».
Кроме прочего, тяжело оценить простоту и важность идеи этим методом. Получается, что PIE — только перечень субъективных оценок по 10-балльной шкале.
ICE Score
The ICE Score (Impact, Confidence, Ease) — предустановленный фреймворк в программе для тестирования Projects от GrowthHackers, разработанный и популяризированный основателем компании Шоном Эллисом (Sean Ellis). Вот основные пункты модели:
Влияние: если что-то работает, то как это влияет на KPI и доход?
Уверенность: насколько вы уверены в этом влиянии?
Легкость: насколько просто запустить тест или эксперимент?
Projects — великолепный продукт для управления идеями взрывного роста. Но если вы догадываетесь, каким окажется влияние, зачем вообще тестировать?
В таком аспекте модель приводит нас к той же проблеме, что была с PIE, но вдобавок вам придется спросить себя: «Насколько я уверен в этой идее?». И опять-таки, как узнать это заранее? Вам нужен объективный анализ, основанный на опыте — но здесь получить последовательные и объективные рейтинги почти невозможно.
ICE тоже допускает «коррупцию» и субъективность при выставлении баллов — если оценивающий заинтересован в результатах. Более того — даже если человек будет честно выставлять баллы, два рейтинга из трех все равно будут зависеть от «внутреннего ощущения».
Как итог: ICE Score — полезная схема, но со своими минусами.
ICE (вторая версия)
Существует второй ICE-фреймворк — менее известный оптимизаторам. Это очередной акроним, ICE расшифровывается как:
Влияние (Impact) — измеряется в улучшении всего, что идет на пользу компании (рост продаж, снижение затрат и т. п.).
Стоимость (Cost) — во сколько обойдется внедрение идеи.
Усилия (Efforts) — сколько ресурсов доступно и сколько времени нужно для внедрения идеи.
Критерии оценки этой схемы более конкретны. Ее оценочная шкала меньше: только 2 балла, 1 и 2, или «высокий»/«низкий» показатель. Оценив аспекты идеи по этой бинарной модели, маркетолог складывает цифры и получает общую оценку. Отталкиваясь от нее, команда принимает решение.
Эта «черно-белая» шкала не предполагает средних ответов. Притом, шкалы с узкими пределами измерения, как правило, более точны.
Пусть эта модель лучше прочих, но и она далека от идеала. Ведь потенциальное влияние — критерий довольно субъективный. При этом, модель может дать много идей с оценкой 3 или 4. Как приоритизировать их?
Модель приоритизации от HotWire
На конференции ConversionXL Live 2015 Полин Марол (Pauline Marol) и Жозефин Фуше (Josephine Foucher), представляя компанию Hotwire, поделились своей схемой. Она тоже построена на бинарной основе:
В модель включен широкий список переменных, как опыт на мобильных устройствах и таргетинг.
Именно эта работа (и двоичный ICE-фреймворк) вдохновили Пипа Лаю на создание собственной схемы. Он хотел исключить неоднозначность — так, чтобы выбор стоял только из двух параметров (да/нет). Также он стремился включить конкретные и объективные переменные, в противовес расплывчатым (как «влияние»).
В результате экспериментов родилась модель, реально помогающая приоритизировать тесты: PXL.
PXL-фреймворк
С учетом проблем прочих моделей, компанией ConversionXL было создано следующее:
LPgenerator перевел шаблонную таблицу с PXL-фреймворком. Скопируйте ее в «Google.Документы» и скорректируйте под свой бизнес. Для этого выберите пункт «Файл» главного меню, и подпункт «Создать копию».
У схемы 3 преимущества:
1. Она оценивает любой «потенциал» или «влияние» более объективно;
2. Она способствует развитию «культуры данных» в маркетинге;
3. Она позволяет объективнее оценить «простоту внедрения».
Хорошая тест-идея влияет на поведение пользователей. Вместо того, чтобы гадать о потенциальном влиянии идеи, вы анализируете его, задавая вопросы:
- Вносится ли изменение выше линии сгиба? → Коррективы над линией сгиба заметны большому числу людей, потому тест в этой области вероятнее окажет влияние.
- Заметно ли изменение в течение 5 секунд? → Покажите группе контрольный вариант и его вариацию(-ии). Найдут ли люди отличия за 5 секунд? Смогут точно назвать их? Если нет, то влияние теста не будет весомым.
- Происходит ли добавление/удаление чего-либо? → Серьезные изменения (устранение отвлекающих элементов или добавление ключевой информации) оказывают более сильное влияние.
- Проводится ли тест на страницах с высоким трафиком? → Даже небольшие изменения на самых посещаемых страницах дают быстрые результаты.
Если вы просто обмениваетесь мнениями о том, что стоит тестировать, то приоритизация теряет смысл. Реальную силу имеют только глубокий анализ конверсии, поскольку данная схема требует точных данных, а не субъективных мнений.
Модели нужны данные, отвечающие на вопросы:
- Решает ли изменение проблему, обнаруженную при пользовательском тестировании?
- Решает ли оно проблему, выявленную «качественным фидбеком» (опросы, голосования, интервью).
- Используются ли в тесте тепловые карты, анализ движения мыши и пр.?
- Обращается ли тест к выводам аналитики?
Задавайте эти 4 вопроса на регулярных брейнстормингах, и ваши коллеги быстро научатся полагаться на данные.
В идеале, разработчик тестов должен участвовать в дискуссиях по приоритизации. Хотя разработчики часто недооценивают продолжительность тестов, вы получите хотя бы примерное понимание — и станете меньше «стрелять в молоко».
Квалификационная шкала PXL
Она создана на базе бинарной шкалы. Для большинства переменных (если не указано иное) вы ставите 0 или 1.
Приоритет некоторых элементов повышен, например: насколько заметно изменение, были ли добавлены/удалены элементы, какова простота внедрения. Здесь конкретно указано, как меняются элементы на сайте. К примеру, на вопрос о видимости изменений существует только два однозначных ответа: да (2) и нет (0).
Настройка модели
Все бизнесы работают по-своему. Наивно полагать, что одно решение подойдет всем. PXL-модель создана так, чтобы маркетологи могли менять переменные, оглядываясь на то, что важно их компании.
К примеру, вы работаете в связке с командами по брендингу и UX. Вам важно, чтобы гипотезы соотносились с основными принципами брендирования. Добавьте этот момент как переменную. Или возможно, вы — стартап, продвигающийся за счет SEO, а ваша прибыль зависит от потока клиентов. Тогда возьмите категорию «Не мешает SEO» — но помните, что она изменит принципы тестинга заголовков и текстов.
Заключение
Разные бренды работают с разными гипотезами, но, подстраивая шаблон PXL под себя, вы заметно улучшите свои тесты. Если ваша голова разрывается от идей, то просто расставьте приоритеты. Это повлияет как на качество сплит-кампаний, так и на работу всего бизнеса.
Вам некогда разбираться в подобных тонкостях, но при этом вы хотите улучшить показатели и поднять конверсию с гарантией результата? Оставить заявку можно здесь — мы с радостью оптимизируем ваш лендинг.
Высоких вам конверсий!
По материалам: conversionxl.com
