Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
  1. Главная >
  2. Блог >
  3. CRO >
  4. Методология проведения сплит-тестирования

Методология проведения сплит-тестирования

Методология проведения сплит-тестирования

Сплит-тестирование является, бесспорно, одним из важнейших инструментов оптимизации конверсии в работе интернет-маркетолога. Без оптимизации посадочной страницы после ее запуска не обходится ни одна серьезная рекламная кампания, да это и невозможно.

Однако есть публикации, открыто утверждающие, что результаты, которые дают сплит-тесты — недостоверны, иллюзорны и полагаются на волю случая. Впрочем, как утверждает Уилл Курт (Will Kurt), один из авторов маркетингового блога SaaS платформы Kissmetrics, такая ситуация вполне нормальна и имеет место быть.

«Чтобы понять, почему так происходит, проведем эксперимент с монетками. Как вы знаете, шансы того, что выпадет орел или решка, всегда равны 50%. Наша задача — выяснить, в каком случае будет чаще выпадать орел: при подбрасывании монеты правой рукой или левой. Подкидываем монетку 16 раз левой и правой рукой и получаем такие результаты:

  Орел Решка
Правая рука 11 5
Левая рука 5 11

Казалось бы, при подбрасывании монеты правой рукой орел выпадает чаще. Следовательно, если бы мы проводили сплит-тест, и изучаемой характеристикой была подбрасывающая рука, то мы продолжили бы кидать монету правой рукой — ведь она дает нам нужный результат! Но если принять к сведению, что мы практически не влияем на то, какой стороной ляжет монета, то, по сути, на наш конечный выбор оказал влияние случай. И вполне возможно, что внедрив более удачно показавший себя на A/B-тесте вариант, мы окажемся свидетелями падения процента результативности всего проекта».

Чтобы исключить влияние неподвластных нам статистических факторов, важно соблюдать элементарные правила проведения сплит-теста.

Правила проведения сплит-тестирования

Характер проведения сплит-теста близок к научному эксперименту, однако лишь немногим интернет-маркетологам удается соответствовать столь высоким требованиям. Вся проблема заключается в том, что специалисты, проводящие тест, не любят ждать и часто вмешиваются в процесс эксперимента, что и это приводит к недостоверным результатам.

На самом деле, классические установки для запуска сплит-теста следующие:

1. Определите уровень минимальных изменений, который вы ожидаете получить (например, коэффициент конверсии увеличится на 10%).

2. Установите размер выборочной совокупности целевой аудитории, необходимой для верификации полученных результатов (выборочная совокупность – это число людей, принявших участие в тестировании). Для этого можете воспользоваться специальным калькулятором, который размещен здесь.

3. Запустите сплит-тест, но не анализируйте результаты до достижения определенного ранее размера выборочной совокупности.

4. Установите минимальный порог изменений, необходимый для детерминации варианта как более эффективного (обычно 95% от значения, принятого на 1 шаге).

5. После того, как вы наберете достаточный размер выборочной совокупности, можете приступать к t-тесту (или любому другому верификационному тесту), чтобы определить превосходит ли значение достоверности результатов с принятым вами на 4 шаге минимальным порогом изменений.

6. Если результаты, полученные вами на 5 шаге, свидетельствуют в пользу одного из вариантов, внедряйте его немедленно. Если же испытываемые варианты не принесли сколь-нибудь значимого результата, оставляйте все как есть.

Отчего же маркетологи не выполняют приведенных выше правил, ведь, казалось бы, в них нет ничего сложного? Вся правда в том, что хотя характер сплит-теста и близок к научному, сами маркетологи вовсе не ученые.

Если для ученого на первом месте стоит правильность и точность получаемых в ходе проведения эксперимента результатов, то для маркетолога ключевым значением является та прибыль, которая будет получена после внедрения изменений на лендингах. Согласитесь, сплит-тест похож в большей степени на игру. У нас есть несколько десятков параметров, каждый из которых требуется проверить, но руководство постоянно давит и требует конкретных результатов как можно быстрее.

В этой ситуации маркетологи тестируют только то, что может принести существенные изменения. Для них важен рост, и только когда они увидят, что соблюдение правил сплит-теста, приведет их к успеху, маркетологи начнут им следовать. Возникает вопрос: «Как их убедить в необходимости “научного подхода”?».

2 модели проведения сплит-теста

Проводить сплит-тест можно по-разному: кто-то будет придерживаться методологии, а кто-то будет торопить события и искажать конечные результаты. Чтобы четче обрисовать существующую ситуацию, приведем в качестве примера две модели проведения сплит-теста, диаметрально противоположные друг другу.

Первая модель «Scientist» (с англ. — ученый) предполагает соблюдение всех правил, которые мы изложили выше. На графике вы можете видеть результаты тестирования согласно рассматриваемой модели:

сплит-тест

Исследователь, действующий по первой модели, совершает крайне мало ошибок и имеет постоянный рост коэффициента конверсии. Он провел всего 20 тестов, в ходе которых улучшил показатель конверсии с 5 до 6,7%. Размер выборки составил 1 миллион человек.

Теперь обратим внимание на вторую модель проведения теста, которая носит название «Impatient Marketer» (с англ. — нетерпеливый маркетолог).

сплит-тест

Как вы видите, нетерпеливый маркетолог действует непоследовательно и иной раз даже хаотично. Он постоянно проверяет получаемые данные, и как только они достигают 95% порога выборки, тут же останавливает тест. Его результаты больше напоминают американские горки, однако полученные в итоге цифры не сильно отличаются от того, на что вышел ученый, хоть и менее достоверны.

Модель «The Realist»

Эта модель получается на стыке двух предыдущих моделей, но от маркетолога здесь не требуется скрупулезности и излишнего беспокойства. «Реалист» точно так же, как и «Нетерпеливый маркетолог», хочет быстрых результатов, попутно стремясь избежать большинства ошибок и не следовать 6-ступенчатой методологии проведения сплит-теста. Чтобы быть уверенным в каждом успешном варианте сплит-теста, «Реалист» ждет не 95%, а 99% порога изменений, но не проводит тест слишком долго: ему достаточно и 2000 пользователей. Получается в итоге следующее:

Модель «The Realist»

Модель «Реалист» превзошла результаты, которые были получены в первой модели.

Заключение

Следовать правилам или нет, решает каждый для себя сам. Однако методология позволит вам максимально приблизится к точным данным, внедрив которые вы не будете ломать голову над вопросом, почему коэффициент конверсии пополз вниз, а не вверх.

С другой стороны, скрупулезность и медлительность в маркетинге не приветствуются. В этом случае некоторое изменение основных положений методологии оправдано. Главное, поддавшись эмоциям, не сделать ставку на проигрышный вариант, который в какой-то момент и показал себя лидирующим. Чтобы избежать этого, используйте калькулятор выборочной совокупности, который подскажет вам, как долго тестировать тот или иной элемент.

От себя добавим: размер выборочной совокупности, используемый для достижения статистической достоверности сплит-тестов в приведенных выше примерах, может оказаться недоступным для маркетологов, работающих со скромным рекламным бюджетом и низким входящим трафиком, в таком случае можно прибегнуть к дедуктивному методу тестирования.

Успехов и высоких вам конверсий!

По материалам blog.kissmetrics.com, image source Ian Sane 

blog comments powered by Disqus
Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
copyright © 2011–2024 Все права защищены
Запрещено любое копирование материалов ресурса без письменного согласия владельца — ООО "Феникс-Маркетинг". ИНН:7725812838, КПП:772501001, ОГРН: 513774619323915280, Москва, ул. Ленинская слобода, д. 19, стр. 1, этаж/пом 3/25

ООО «Феникс-Маркетинг» — IT-компания с многолетним опытом работы, разрабатывающая инновационные решения для управления процессом лидогенерации (пост-клик маркетинг). Разработанное нами технологическое программное решение LPGENERATOR позволяет создавать целевые страницы в визуальном редакторе и управлять заявками (лидами) в CRM-системе в целях проведения эффективных, высококонверсионных рекламных кампаний