Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
  1. Главная >
  2. Блог >
  3. CRO >
  4. PXL-фреймворк: лучший способ приоритизировать сплит-тесты

PXL-фреймворк: лучший способ приоритизировать сплит-тесты

Если вы — ответственный маркетолог, то у вас наверняка скопилось много идей по сплит-тестированию. Одни из них хороши (потому что подкреплены данными и тщательным анализом), другие похуже, а третьи — просто непонятно, как оценивать.

Увы, но быстро протестировать все интересные задумки невозможно — как минимум, из-за ограниченного трафика. Поэтому важно расставлять приоритеты по идеям так, чтобы в первую очередь тестировались самые многообещающие.

Но как этого добиться?

Существует множество моделей приоритизации. Все они отчасти полезны, но упускают некие аспекты. Поэтому маркетолог и CRO-специалист Пип Лайа (Peep Laja) решил разработать свою, универсальную модель.

Что не так со старыми моделями?

Знаменитый британский статистик Джордж Бокс (George E. P. Box) говорил: «По сути, все модели ошибочны, но некоторые из них полезны».

Если вы не новичок в оптимизации, то наверняка слышали о схемах приоритизации. Две самые популярные — PIE и ICE. Обе они полезны, у обеих есть слабые места.

PIE

PIE-фреймворк (акроним от трех слов — Potential, Importance, Ease), пожалуй, наиболее известен в мире оптимизации конверсии. Он включает 3 переменные:

Потенциал — сколько улучшений можно сделать на страницах?
Важность — насколько ценный трафик на страницах (его объем и пр.)?
Простота — насколько сложно протестировать страницу или шаблон?

критерий каждой переменной оставляет пространство для интерпретаций

В данной схеме критерий каждой переменной оставляет пространство для интерпретаций. Например, как объективно определить потенциал тест-идеи? Ведь знай маркетолог это заранее, ему не понадобились бы модели. Или представьте: вы член большой команды и хотите реализовать свою идею, так почему бы не накинуть пару баллов к потенциалу (все равно ведь, цифра субъективна)? В идеальном мире, схемы должны исключать «человеческий фактор».

Кроме прочего, тяжело оценить простоту и важность идеи этим методом. Получается, что PIE — только перечень субъективных оценок по 10-балльной шкале.

ICE Score

The ICE Score (Impact, Confidence, Ease) — предустановленный фреймворк в программе для тестирования Projects от GrowthHackers, разработанный и популяризированный основателем компании Шоном Эллисом (Sean Ellis). Вот основные пункты модели:

Влияние: если что-то работает, то как это влияет на KPI и доход?
Уверенность: насколько вы уверены в этом влиянии?
Легкость: насколько просто запустить тест или эксперимент?

Projects — великолепный продукт для управления идеями взрывного роста. Но если вы догадываетесь, каким окажется влияние, зачем вообще тестировать?

В таком аспекте модель приводит нас к той же проблеме, что была с PIE, но вдобавок вам придется спросить себя: «Насколько я уверен в этой идее?». И опять-таки, как узнать это заранее? Вам нужен объективный анализ, основанный на опыте — но здесь получить последовательные и объективные рейтинги почти невозможно. 

ICE тоже допускает «коррупцию» и субъективность при выставлении баллов — если оценивающий заинтересован в результатах. Более того — даже если человек будет честно выставлять баллы, два рейтинга из трех все равно будут зависеть от «внутреннего ощущения».

Как итог: ICE Score — полезная схема, но со своими минусами.

ICE (вторая версия)

Существует второй ICE-фреймворк — менее известный оптимизаторам. Это очередной акроним, ICE расшифровывается как:

Влияние (Impact) — измеряется в улучшении всего, что идет на пользу компании (рост продаж, снижение затрат и т. п.).
Стоимость (Cost) — во сколько обойдется внедрение идеи.
Усилия (Efforts) — сколько ресурсов доступно и сколько времени нужно для внедрения идеи.

Критерии оценки этой схемы более конкретны. Ее оценочная шкала меньше: только 2 балла, 1 и 2, или «высокий»/«низкий» показатель. Оценив аспекты идеи по этой бинарной модели, маркетолог складывает цифры и получает общую оценку. Отталкиваясь от нее, команда принимает решение. 

Эта «черно-белая» шкала не предполагает средних ответов. Притом, шкалы с узкими пределами измерения, как правило, более точны

Эта «черно-белая» шкала не предполагает средних ответов. Притом, шкалы с узкими пределами измерения, как правило, более точны.

Пусть эта модель лучше прочих, но и она далека от идеала. Ведь потенциальное влияние — критерий довольно субъективный. При этом, модель может дать много идей с оценкой 3 или 4. Как приоритизировать их?

Модель приоритизации от HotWire

На конференции ConversionXL Live 2015 Полин Марол (Pauline Marol) и Жозефин Фуше (Josephine Foucher), представляя компанию Hotwire, поделились своей схемой. Она тоже построена на бинарной основе:

Модель приоритизации от HotWire

В модель включен широкий список переменных, как опыт на мобильных устройствах и таргетинг.

Именно эта работа (и двоичный ICE-фреймворк) вдохновили Пипа Лаю на создание собственной схемы. Он хотел исключить неоднозначность — так, чтобы выбор стоял только из двух параметров (да/нет). Также он стремился включить конкретные и объективные переменные, в противовес расплывчатым (как «влияние»).

В результате экспериментов родилась модель, реально помогающая приоритизировать тесты: PXL.

PXL-фреймворк

С учетом проблем прочих моделей, компанией ConversionXL было создано следующее: 

PXL-фреймворк

LPgenerator перевел шаблонную таблицу с PXL-фреймворком. Скопируйте ее в «Google.Документы» и скорректируйте под свой бизнес. Для этого выберите пункт «Файл» главного меню, и подпункт «Создать копию».

У схемы 3 преимущества:

1. Она оценивает любой «потенциал» или «влияние» более объективно;
2. Она способствует развитию «культуры данных» в маркетинге;
3. Она позволяет объективнее оценить «простоту внедрения».

Хорошая тест-идея влияет на поведение пользователей. Вместо того, чтобы гадать о потенциальном влиянии идеи, вы анализируете его, задавая вопросы:

  • Вносится ли изменение выше линии сгиба? → Коррективы над линией сгиба заметны большому числу людей, потому тест в этой области вероятнее окажет влияние.
  • Заметно ли изменение в течение 5 секунд? → Покажите группе контрольный вариант и его вариацию(-ии). Найдут ли люди отличия за 5 секунд? Смогут точно назвать их? Если нет, то влияние теста не будет весомым.
  • Происходит ли добавление/удаление чего-либо? → Серьезные изменения (устранение отвлекающих элементов или добавление ключевой информации) оказывают более сильное влияние.
  • Проводится ли тест на страницах с высоким трафиком? → Даже небольшие изменения на самых посещаемых страницах дают быстрые результаты.

Если вы просто обмениваетесь мнениями о том, что стоит тестировать, то приоритизация теряет смысл. Реальную силу имеют только глубокий анализ конверсии, поскольку данная схема требует точных данных, а не субъективных мнений.

Модели нужны данные, отвечающие на вопросы:

  • Решает ли изменение проблему, обнаруженную при пользовательском тестировании?
  • Решает ли оно проблему, выявленную «качественным фидбеком» (опросы, голосования, интервью).
  • Используются ли в тесте тепловые карты, анализ движения мыши и пр.?
  • Обращается ли тест к выводам аналитики?

Задавайте эти 4 вопроса на регулярных брейнстормингах, и ваши коллеги быстро научатся полагаться на данные.

В идеале, разработчик тестов должен участвовать в дискуссиях по приоритизации. Хотя разработчики часто недооценивают продолжительность тестов, вы получите хотя бы примерное понимание — и станете меньше «стрелять в молоко». 

Квалификационная шкала PXL

Она создана на базе бинарной шкалы. Для большинства переменных (если не указано иное) вы ставите 0 или 1. 

Приоритет некоторых элементов повышен, например: насколько заметно изменение, были ли добавлены/удалены элементы, какова простота внедрения. Здесь конкретно указано, как меняются элементы на сайте. К примеру, на вопрос о видимости изменений существует только два однозначных ответа: да (2) и нет (0).

Настройка модели

Все бизнесы работают по-своему. Наивно полагать, что одно решение подойдет всем. PXL-модель создана так, чтобы маркетологи могли менять переменные, оглядываясь на то, что важно их компании.

К примеру, вы работаете в связке с командами по брендингу и UX. Вам важно, чтобы гипотезы соотносились с основными принципами брендирования. Добавьте этот момент как переменную. Или возможно, вы — стартап, продвигающийся за счет SEO, а ваша прибыль зависит от потока клиентов. Тогда возьмите категорию «Не мешает SEO» — но помните, что она изменит принципы тестинга заголовков и текстов. 

Заключение

Разные бренды работают с разными гипотезами, но, подстраивая шаблон PXL под себя, вы заметно улучшите свои тесты. Если ваша голова разрывается от идей, то просто расставьте приоритеты. Это повлияет как на качество сплит-кампаний, так и на работу всего бизнеса.

Вам некогда разбираться в подобных тонкостях, но при этом вы хотите улучшить показатели и поднять конверсию с гарантией результата? Оставить заявку можно здесь — мы с радостью оптимизируем ваш лендинг.

Высоких вам конверсий! 

По материалам: conversionxl.com

blog comments powered by Disqus
Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
copyright © 2011–2024 Все права защищены
Запрещено любое копирование материалов ресурса без письменного согласия владельца — ООО "Феникс-Маркетинг". ИНН:7725812838, КПП:772501001, ОГРН: 513774619323915280, Москва, ул. Ленинская слобода, д. 19, стр. 1, этаж/пом 3/25

ООО «Феникс-Маркетинг» — IT-компания с многолетним опытом работы, разрабатывающая инновационные решения для управления процессом лидогенерации (пост-клик маркетинг). Разработанное нами технологическое программное решение LPGENERATOR позволяет создавать целевые страницы в визуальном редакторе и управлять заявками (лидами) в CRM-системе в целях проведения эффективных, высококонверсионных рекламных кампаний