Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
  1. Главная >
  2. Блог >
  3. CRO >
  4. Оптимизация конверсии и статистическая достоверность: что это значит?

Оптимизация конверсии и статистическая достоверность: что это значит?

Оптимизация конверсии и статистическая достоверность

Если вы регулярно изучаете кейсы по оптимизации конверсии и сплит-тестированию, то наверняка сталкивались с подобными примерами: «Изменение одного элемента увеличило количество лидов на 85%, статистическая достоверность теста составила 97%».

Что на самом деле означают эти данные, и почему маркетологи так любят говорить о статистической точности?

Роль случайности в процессе тестирования

Вернемся к первому примеру: увеличение конверсии в лиды на 85% с 97% статистической точностью. Если бы мы смотрели на результаты этого эксперимента как на чистую случайность, то замечали бы только увеличение на 85%, ведь оставшиеся 3% крайне малы, чтобы воспринимать их всерьез.

Поэтому мы можем вычислить с 97% точностью, что результаты не случайны.

Сегодня большинство сплит-тестов не могут похвастаться такой точностью. Существует множество внешних факторов и переменных, которые способны исказить данные исследований (случайность выборки, время и даже технические проблемы).

Миф о точности тестов

Значительная часть маркетологов ставит вопрос подобным образом: должна ли статистическая точность играть роль в тестировании лендингов? Специалисты по маркетингу придерживаются мнения, что сама точность и даже конверсия, взятая «в чистом виде», напрямую не влияет ни на конечную прибыль, ни на прочие показатели воронки продаж.

Утверждение незначительной статистической достоверности — уловка крупных агентств, которые до бесконечности тасуют данные, пока не получат красивую цифру для своего портфолио — 100%.

Есть мнение, что точность лишь фиксирует результат оптимизации в определенном сегменте. Никто не может сказать с абсолютной уверенностью, увеличится ли количество лидов на самом деле на 85%. Такой результат не гарантирован, именно поэтому очень важно управлять тестированием на всех этапах.

Так ли важна статистическая достоверность?

Не стоит пренебрегать данными — лучше взглянуть на положение вещей в свете сложившегося контекста. Например, на вопрос «Как измерить коэффициент конверсии» специалисты по маркетингу часто советуют ждать, пока на лендинг не придет достаточное количество трафика.

Но даже трафик в десятки тысяч посетителей не всегда приводит к изменениям, связанным со статистической точностью. Посмотрите на этот пример:

Пример от Marketizator

Пример от Marketizator показывает примерно 250 000 просмотров на 100 000 посетителей на обоих вариантах лендинга. При этом показатели конверсии почти равны (0,13 и 0,12%).

С другой стороны, у вас может быть гораздо меньше посетителей и просмотров при статистически значимом результате.

Пример от Marketizator

В данном случае получен статистически подтвержденный результат независимо от трафика. Но как управлять сплит-тестами с высокой точностью, владея данной информацией?

Включите все данные

Если бы существовал калькулятор A/B-тестирования, выдающий статистически точные ответы, то как бы это выглядело? Между тем в приведенном примере такой результат достигнут на практике с помощью диаграмм в Excel и Google Docs.

Посмотрим на реальный пример.

Допустим, вы хотите провести сплит-тест по определению влияния цвета CTA-кнопки на конверсию. Тестируется 2 варианта: красный и зеленый. Это обычный тест, который проводит практически каждая компания.

Калькулятор A/B тестирования*

Калькулятор A/B тестирования

* по вертикали показана плотность вероятности, по горизонтали — конверсия, %

По результатам сплит-теста были получены следующие результаты: красный цвет — 12 кликов из 132 просмотров, зеленый цвет — 14 из 125. У зеленой кнопки небольшое преимущество. Но не простая ли это случайность? Загрузка данных в «калькулятор» приводит к результату:

Калькулятор A/B тестирования

У зеленого цвета вероятность победы 73%.

Хороший результат, не правда ли? Об этом говорит простая арифметика еще до применения калькулятора. Но, как показывает результат, калькулятор сплит-тестирования досрочно убеждает маркетологов в преимуществе зеленого цвета.

Конечно, это простой пример. Скорее всего, ваши тесты не всегда будут давать столь очевидный результат. Именно тогда хорошо произвести расчеты с помощью калькулятора, получив в итоге необходимое значение.

Можно ли применять метод и к А/А тестам?

Многие эксперты оптимизации конверсии рекомендуют проводить именно А/А-тесты перед А/В-тестированием.

A/A-тест — это, собственно, тестирование условий испытания. С его помощью, показывая 2 группам испытуемых одинаковый вариант лендинга, маркетолог убеждается, что контрольные группы для сплит-теста подобраны корректно.

Если показатели конверсии у разных групп не превышают статистической погрешности, то тест подготовлен правильно. Именно на подготовительном моменте может возникнуть критическая ошибка, способная радикально изменить результаты теста.

Ошибка статистической точности

Но ведь мы стремимся к статистической точности в наших тестах! Что же может исказить процесс тестирования и как избежать этого?

Если сложные уравнения совсем запутали вас, то есть простой калькулятор расчета количества посетителей для достижения статистического подтверждения на evanmiller.org. Вот вам и выход из ситуации.

Заключение

Оптимизация конверсии — это и наука, и искусство одновременно. Нет однозначного мнения о влиянии статистической точности во всех возможных случаях, ведь результаты часто противоречат цифровым выкладкам и прогнозам.

Никакой тест не гарантирует вам 100% точности — вы изучаете поведение живых людей, а проявления человеческого фактора в известной степени непредсказуемы.

Когда вы примете обозначенные факторы во внимание, то будете лучше подготовлены к тестированию своих лендингов и рекламных кампаний в целом.

Высоких вам конверсий!

По материалам blog.kissmetrics.com, image source Joona Kotilainen 

blog comments powered by Disqus
Возвращайте до 18% с пополнений рекламы
  • Все популярные рекламные сети в одном окне
  • Рекламные инструменты — бесплатно
  • Доступ к конструктору лендингов и WebApp-приложений
  • Закрывающие документы точно в срок
ring svg
copyright © 2011–2024 Все права защищены
Запрещено любое копирование материалов ресурса без письменного согласия владельца — ООО "Феникс-Маркетинг". ИНН:7725812838, КПП:772501001, ОГРН: 513774619323915280, Москва, ул. Ленинская слобода, д. 19, стр. 1, этаж/пом 3/25

ООО «Феникс-Маркетинг» — IT-компания с многолетним опытом работы, разрабатывающая инновационные решения для управления процессом лидогенерации (пост-клик маркетинг). Разработанное нами технологическое программное решение LPGENERATOR позволяет создавать целевые страницы в визуальном редакторе и управлять заявками (лидами) в CRM-системе в целях проведения эффективных, высококонверсионных рекламных кампаний