LPgenerator — профессиональная Landing Page платформа для увеличения продаж вашего бизнеса

  • Более 500 шаблонов в галерее
  • Инструменты оптимизации конверсии
  • Статистика и сквозная аналитика
  • CRM для работы с заявками и телефония
  • Визуальный редактор с расширенным функционалом
  • Быстрая техническая поддержка
  • Множество интеграций
  • Окупаемость инструмента — от 7 дней

Оптимизация конверсии и статистическая достоверность: что это значит?

Оптимизация конверсии и статистическая достоверность

Если вы регулярно изучаете кейсы по оптимизации конверсии и сплит-тестированию, то наверняка сталкивались с подобными примерами: «Изменение одного элемента увеличило количество лидов на 85%, статистическая достоверность теста составила 97%».

Что на самом деле означают эти данные, и почему маркетологи так любят говорить о статистической точности?

Роль случайности в процессе тестирования

Вернемся к первому примеру: увеличение конверсии в лиды на 85% с 97% статистической точностью. Если бы мы смотрели на результаты этого эксперимента как на чистую случайность, то замечали бы только увеличение на 85%, ведь оставшиеся 3% крайне малы, чтобы воспринимать их всерьез.

Поэтому мы можем вычислить с 97% точностью, что результаты не случайны.

Сегодня большинство сплит-тестов не могут похвастаться такой точностью. Существует множество внешних факторов и переменных, которые способны исказить данные исследований (случайность выборки, время и даже технические проблемы).

Миф о точности тестов

Значительная часть маркетологов ставит вопрос подобным образом: должна ли статистическая точность играть роль в тестировании лендингов? Специалисты по маркетингу придерживаются мнения, что сама точность и даже конверсия, взятая «в чистом виде», напрямую не влияет ни на конечную прибыль, ни на прочие показатели воронки продаж.

Утверждение незначительной статистической достоверности — уловка крупных агентств, которые до бесконечности тасуют данные, пока не получат красивую цифру для своего портфолио — 100%.

Есть мнение, что точность лишь фиксирует результат оптимизации в определенном сегменте. Никто не может сказать с абсолютной уверенностью, увеличится ли количество лидов на самом деле на 85%. Такой результат не гарантирован, именно поэтому очень важно управлять тестированием на всех этапах.

Так ли важна статистическая достоверность?

Не стоит пренебрегать данными — лучше взглянуть на положение вещей в свете сложившегося контекста. Например, на вопрос «Как измерить коэффициент конверсии» специалисты по маркетингу часто советуют ждать, пока на лендинг не придет достаточное количество трафика.

Но даже трафик в десятки тысяч посетителей не всегда приводит к изменениям, связанным со статистической точностью. Посмотрите на этот пример:

Пример от Marketizator

Пример от Marketizator показывает примерно 250 000 просмотров на 100 000 посетителей на обоих вариантах лендинга. При этом показатели конверсии почти равны (0,13 и 0,12%).

С другой стороны, у вас может быть гораздо меньше посетителей и просмотров при статистически значимом результате.

Пример от Marketizator

В данном случае получен статистически подтвержденный результат независимо от трафика. Но как управлять сплит-тестами с высокой точностью, владея данной информацией?

Включите все данные

Если бы существовал калькулятор A/B-тестирования, выдающий статистически точные ответы, то как бы это выглядело? Между тем в приведенном примере такой результат достигнут на практике с помощью диаграмм в Excel и Google Docs.

Посмотрим на реальный пример.

Допустим, вы хотите провести сплит-тест по определению влияния цвета CTA-кнопки на конверсию. Тестируется 2 варианта: красный и зеленый. Это обычный тест, который проводит практически каждая компания.

Калькулятор A/B тестирования*

Калькулятор A/B тестирования

* по вертикали показана плотность вероятности, по горизонтали — конверсия, %

По результатам сплит-теста были получены следующие результаты: красный цвет — 12 кликов из 132 просмотров, зеленый цвет — 14 из 125. У зеленой кнопки небольшое преимущество. Но не простая ли это случайность? Загрузка данных в «калькулятор» приводит к результату:

Калькулятор A/B тестирования

У зеленого цвета вероятность победы 73%.

Хороший результат, не правда ли? Об этом говорит простая арифметика еще до применения калькулятора. Но, как показывает результат, калькулятор сплит-тестирования досрочно убеждает маркетологов в преимуществе зеленого цвета.

Конечно, это простой пример. Скорее всего, ваши тесты не всегда будут давать столь очевидный результат. Именно тогда хорошо произвести расчеты с помощью калькулятора, получив в итоге необходимое значение.

Можно ли применять метод и к А/А тестам?

Многие эксперты оптимизации конверсии рекомендуют проводить именно А/А-тесты перед А/В-тестированием.

A/A-тест — это, собственно, тестирование условий испытания. С его помощью, показывая 2 группам испытуемых одинаковый вариант лендинга, маркетолог убеждается, что контрольные группы для сплит-теста подобраны корректно.

Если показатели конверсии у разных групп не превышают статистической погрешности, то тест подготовлен правильно. Именно на подготовительном моменте может возникнуть критическая ошибка, способная радикально изменить результаты теста.

Ошибка статистической точности

Но ведь мы стремимся к статистической точности в наших тестах! Что же может исказить процесс тестирования и как избежать этого?

Если сложные уравнения совсем запутали вас, то есть простой калькулятор расчета количества посетителей для достижения статистического подтверждения на evanmiller.org. Вот вам и выход из ситуации.

Заключение

Оптимизация конверсии — это и наука, и искусство одновременно. Нет однозначного мнения о влиянии статистической точности во всех возможных случаях, ведь результаты часто противоречат цифровым выкладкам и прогнозам.

Никакой тест не гарантирует вам 100% точности — вы изучаете поведение живых людей, а проявления человеческого фактора в известной степени непредсказуемы.

Когда вы примете обозначенные факторы во внимание, то будете лучше подготовлены к тестированию своих лендингов и рекламных кампаний в целом.

Высоких вам конверсий!

По материалам blog.kissmetrics.com, image source Joona Kotilainen 

5 августа 2014

LPgenerator — профессиональная Landing Page платформа для увеличения продаж вашего бизнеса

  • Более 500 шаблонов в галерее
  • Инструменты оптимизации конверсии
  • Статистика и сквозная аналитика
  • CRM для работы с заявками и телефония
  • Визуальный редактор с расширенным функционалом
  • Быстрая техническая поддержка
  • Множество интеграций
  • Окупаемость инструмента — от 7 дней
blog comments powered by Disqus
copyright © 2011–2017 by LPgenerator LLC. Все права защищены
Запрещено любое копирование материалов ресурса без письменного согласия владельца — ООО "ЛПгенератор".