Впервые приступив к оптимизации конверсии, вы думаете, что самыми труднопреодолимыми препятствиями будут технические нюансы: успешное тестирование, правильный сбор данных, проведение опросов.
Это, безусловно, важно. Однако перечисленные действия отличает определенная очевидность, и на более высоком уровне опыта и развития профессиональных навыков они воспринимаются как данность.
Нет, гораздо большую проблему на стадии внедрения программы, даже если она уже готова к запуску, представляют погрешности, вызванные человеческим фактором, а также когнитивные искажения (Cognitive Bias).
Неважно, насколько внимательно вы стараетесь ориентироваться на данные, в любом случае решения принимаются людьми.
Мы уже говорили о когнитивных искажениях, помогающих приводить посетителей к конверсии, но что насчет ложных логических умозаключений (Logical Fallacies), мешающих программам работать на пике эффективности?
Что есть «ложное логическое умозаключение»?
Википедия дает следующее определение: «нарушение логической и риторической аргументации, лишающее утверждение логического смысла или шире — достоверности».
Постер-предупреждение с сайта yourlogicalfallacyis.com, описывающий несоответствующие истине логические умозаключения
Озвучиваются ли они во время заседания совета директоров или проникают в ваше сознание, неверные умозаключения препятствуют принятию ясных и точных решений. Они могут разрушить аналитику и поставить под угрозу рост бизнеса.
В сегодняшней статье будут выделены наиболее частые и опасные ложные логические умозаключения (ЛЛУ), встречающиеся нам вновь и вновь. Изучите их и ограничьте вызываемый ими отрицательный эффект.
1. Необоснованное обобщение
Необоснованное обобщение (Hasty Generalization) — ошибочный вывод, при котором решения основываются на недостаточном количестве данных. Говоря проще, вы делаете поспешные обобщения, когда не принимаете в расчет все переменные величины, как правило, будучи в нетерпеливом состоянии и имея малую выборку.
Википедия приводит следующий пример: «Человек, проезжающий по городу впервые и видящий 10 людей, все из которых оказываются детьми, может прийти к неправильному заключению, что здесь отсутствует взрослое население».
Если вы читали наши более ранние посты о сплит-тестировании, то следующая фраза покажется вам знакомой: не останавливайте тесты слишком быстро! Это ошибка №1 в А/Б-тестировании.
Именно чересчур поспешное завершение тестов приводит к чудовищному искажению данных. Да, порой кажется очевидным, что вариант Б находится в аутсайдерах. Но если вы «сохраните спокойствие и продолжите тестировать», то заметите, что тенденции выровнялись, а опция Б может даже оказаться победителем.
Сохраняйте спокойствие — и продолжайте тестировать
Возможно, вы знакомы с понятием «закон малых чисел». Он ошибочен по своей природе, поскольку выводы о результатах делаются, исходя из малого набора начальных данных. Это, вне сомнений, опасный подход при осуществлении А/Б-тестов, но он также влияет на другие решения при оптимизации.
Допустим, в процессе качественного анализа вы получили 1000 ответов на вопросы онлайн-анкеты. Прочитать их — довольно трудоемкий процесс, при этом 12 из 18 опрошенных упомянули что-то о беспокойстве относительно доставки. При такой ограниченной выборке, вы, скорее всего, сделаете приоритетной темой проблемы с доставкой, несмотря на то, что остальные участники отметили их как небольшой недостаток, заслуживающий особого внимания, но не приоритезации.
Результаты тестов подвержены резким колебаниям на начальной стадии. Не доверяйте им
Резюмируя: небольшая серия данных может ввести в заблуждение. Экстремальные тенденции в начале тестирования обычно приходят со временем к балансу, так что наберитесь терпения и проводите процесс так, как нужно. Как говорит Пип Лайа (Peep Laja), основатель ConversionXL, мастер оптимизации конверсии: «Нельзя тестировать быстрее только потому, что вы/ваш босс/вице-председатель хотите двигаться быстрее — математика так не работает».
Схожим ЛЛУ является ленивая индукция (Slothful Induction), при которой вы делаете неверный вывод относительно набора данных вне зависимости от того, насколько сильна тенденция/показатели. Если тест прошел успешно и у вас есть победитель, берите его, внедряйте и двигайтесь дальше.
2. Обращение к авторитету
«Глупцы восхищаются всем в знаменитом писателе…»
— Вольтер, «Кандид, или Оптимизм»
Обращение к авторитету (Appeal to Authority) происходит, когда, столкнувшись с предъявленным противоречащим доказательством, одна из сторон прибегает к мнению «эксперта» для поддержки своих аргументов.
Как написал выдающийся ученый Карл Саган (Carl Sagan): «Едва ли не первая заповедь науки: «Не доверяй авторитетам». Не раз людям довелось дорогой ценой убедиться в том, что даже имеющие репутацию эксперты могут ошибаться. Утверждения самого авторитетного лица подлежат такой же точной проверке, как любые другие».
Так что, когда при выборе приоритетов в прогнозах вашим лучшим аргументом является предложение «Нил Патель говорит, что тестирование шрифтов наиболее важно», подумайте, не поискать ли вам новый карьерный путь.
Мы, конечно, шутим, но, безоговорочное доверие мнениям каких-либо гуру с высокой степенью вероятности вызовет вполне реальные проблемы:
- Ваш веб-сайт отличает контекстуальный характер. Опыт одного из экспертов может противоречить опыту другого, в итоге вы получите 0 результата от обеих тактик.
- Людям нравится строить из себя экспертов (юристов/учителей/трейдеров), давая советы онлайн направо и налево. Человек прочитал «Протестируйте это!» Криса Говарда, у него есть интернет-соединение и базовое представление о WordPress — и вот уже мир приветствует нового блогера, мнящего себя знатоком в области оптимизации коэффициента конверсии. Многие блоги содержат полезную информацию, просто будьте осторожнее при выборе источника.
- Следование авторитетам ограничивает спектр программ для тестирования, поскольку «новые открытия» зачастую не поощряются.
В попытке убедить потребителей, что курение может быть безопасно при условии выбора определенной марки сигарет, производители табачной продукции прибегали к образу врачей. Заголовок американской газеты: «Как показывают многочисленные национальные опросы, доктора предпочитают Camel остальным сигаретам!»
Другой случай злоупотребления авторитетным мнением — постоянное упоминание какой-нибудь крупной корпорации в качестве «золотого примера».
В обществе тех, кто занимается повышением конверсии, нередко слышишь упоминание Amazon, Airbnb или Facebook как компаний, опыт которых следует копировать, ведь «без сомнения, они уже протестировали это». Такая апелляция к авторитету присуща любой области. Посмотрите на пример из поста Wordstream:
Из комментариев: «Вы серьёзно думаете, что такая большая компания, как eBay, с их бюджетом и базой знаний никогда не тестировала ничего, кроме динамической вставки ключевого слова?»
Как пишет автор статьи: «Только потому, что eBay является огромной компанией со значительным маркетинговым бюджетом, невозможно утверждать, что люди, отвечающие у них за PPC (Pay-per-Click, вид рекламы с оплатой за клик) знают, что они делают. Большие компании — даже империи! — постоянно ошибаются. История человечества — сплошной сборник провалов. Авторитет не равнозначен высокой компетенции».
Не стоит вообще отбрасывать мнения экспертов: у них есть опыт, на их знания можно полагаться. Но если вы занимаетесь приоритезацией вариантов теста или принимаете решения, обращение к авторитету само по себе не является достаточным аргументом. Оно сужает кругозор, переводя разговор в сторону статуса кво.
Что подводит нас к следующему ЛЛУ…
3. Обращение к традиции
Эта ошибка, также известная под именем «argumentum ad antiquitam» (аргумент к древности), позволяет сделать вывод о правильности идеи лишь потому, что она соотносится с прошлой или настоящей традицией. Применяя более простую формулу, можно сказать, что «нечто верно, поскольку мы всегда это делали таким образом».
Обращение к традиции приводит к регрессу, утверждению постыдных идей и совершению таких же действий. На фото: на гомофобной акции протеста люди ссылаются на цитаты из Библии
Данное искажение иногда носит довольно пугающий характер. Люди обращаются к традиции, даже не задумываясь, защищая некое заявление только потому, что оно является частью их мировоззренческого фундамента. Прошлое знание порождает как игнорирование истинного значения явления, так и нежелание проститься с чем-то, «проверенным временем».
Вне всяких сомнений, вам приходилось сталкиваться с такого рода аргументами, но, если такого пока не произошло в вашей работе, — считайте себя везунчиком. Беда многих компаний заключается в том, что они увязли в верности традициям, отказываясь пробовать новое, а это противоречит культуре экспериментаторства.
Как написано на ресурсе Logically Fallacious, «если бы наши предки не были креативны, у нас бы не было самих традиций. Будьте изобретательны, начинайте собственные традиции, позволяющие сделать наш мир лучше». Предлагаем создать традицию экспериментировать!
Возможно, ваша компания традиционно успешна, но не факт, что тут прослеживается связь с преданностью традициям. «Потому что так всегда делалось» — не жизнеспособный аргумент для того, чтобы продолжать выполнять что-либо в определенной манере. Постройте культуру экспериментаторов, поощряя стремление к открытиям вместо традиционности.
Родственным, но обратным по своей сути ЛЛУ будет обращение к новизне (Appeal to Novelty): благодаря следованию этому принципу вещи квалифицируются как лучшие только на основе того, что они новые. В оптимизации феномен находит отражение в форме спагетти-тестов либо тестирования случайных моментов. Все ради того, чтобы ввести в работу новинку. Опять-таки, сама по себе новизна не плоха, но недостатком будет базировать свои убеждения исключительно на ней.
4. Post hoc ergo propter hoc
«После этого — значит по причине этого» (лат. post hoc ergo propter hoc) — апостериорная логическая ошибка, при которой корреляция принимается за причинную зависимость.
Если вы когда-нибудь читали вольтеровского «Кандида», то вспомните знаменитого профессора Панглосса, философа, верившего, что «все к лучшему в этом лучшем из миров». Цитата из этой книги замечательно описывает заблуждение post hoc:
«Доказано, что все таково, каким должно быть; так как все создано сообразно цели, то все необходимо и создано для наилучшей цели. Вот, заметьте, носы созданы для очков, потому мы и носим очки».
Так же хорошо демонстрирует принцип сцена из сериала «Западное крыло» (англ. The West Wing) о работе администрации президента США от партии демократов.
Лео: Что еще?
Си Джей: Команда Ryder Cup ответила отказом на наше приглашение посетить Белый дом.
Лео: Ты шутишь!
Си Джей: Из-за той шутки.
Бартлет: Ты шутишь!
Си Джей: Нет.
Бартлет: Команда Ryder Cup?
Си Джей: Это лучшие гольфисты в стране…
Бартлет: Я знаю, кто это. Спасибо, мисс Лэндингэм.
Си Джей: Сэр, по-моему, пришло время поговорить о вашем чувстве юмора.
Бартлет: У меня сейчас будет совещание с разведкой, потом с отделом безопасности и 90-минутная встреча насчет бюджета — и все это назначено на без пятнадцати. Вы уверены, что выбрали верное время, чтобы поговорить о моем чувстве юмора?
Си Джей: Нет.
Бартлет: Я тоже так думаю.
Лео: Что еще?
Си Джей: Просто это происходит уже не в первый раз.
Бартлет: Я знаю.
Тоби: Она говорит о Техасе, сэр.
Бартлет: Я знаю.
Си Джей: U.S.A. Today спрашивает, почему вы так мало времени проводите в Техасе с предвыборной кампанией, и вы отвечаете: «Потому что мне не идут ваши забавные шляпы».
Сэм: Он сказал «большие шляпы».
Си Джей: Какая разница?
Бартлет: Разница есть.
Си Джей: Суть в том, что нас на голову разбили в Техасе.
Джош: Нас там разбили дважды.
Си Джей: Мы проиграли в первичных выборах, мы проиграли в ноябре...
Бартлет: Кажется, я там был…
Си Джей: А этого можно было избежать, сэр.
Бартлет: Си Джей, на твоем памятнике потомки прочтут: «Post hoc, ergo propter hoc».
Си Джей: Мои потомки не поймут, что написано на моем памятнике.
Бартлет: 27 юристов в комнате — и никто не знает, что значит «Post hoc, ergo propter hoc»? Джош?
Джош: Э, э… Post — это «после», после hoc... Ergo — это «следовательно». После hoc — следовательно, что-то там hoc.
Бартлет: Спасибо. Следующий?
Джош: Э, если бы мне дали разрешение по законопроекту 443...
Бартлет: Лео?
Лео: После этого — следовательно, по причине этого.
Бартлет: После этого — следовательно, по причине этого. Сие означает, что, если одно явление следует за другим, то оно было вызвано этим другим явлением, но это не всегда так. На самом деле, это вообще редко соответствует действительности. Мы проиграли в Техасе не из-за этой шутки. Знаешь, когда мы проиграли в Техасе?
Си Джей: Когда вы стали учить латынь?
Бартлет: Подумай над этим.
Только потому, что одно действие предшествует другому, нельзя сделать вывод о причинной связи.
Корреляционные метрики — отличная стартовая площадка поиска оптимизационных возможностей, но их надо хорошо исследовать. Представим, что посетители, просмотревшие 30-секундное видео, конвертируют лучше не смотревших его. Вполне вероятно, что видео способствовало увеличению конверсии, но это могло быть и нечто совершенно иное.
Так что проводите контрольные исследования (сплит-тестирования) для установления причинной связи.
Почитайте, что пишет соавтор книги «Чистая аналитика» Бен Йосковиц (Lean Analytics, Ben Yoskovitz).
«Доказывать причинность необходимо с помощью поиска корреляций, а затем проведения экспериментов, позволяющих контролировать другие переменные и измерять разницу. Это непросто сделать, но причинные связи являются суперсилой в аналитике — они дают вам способность предсказывать будущее».
Именно поэтому, несмотря на то, что когортный и динамический анализ (Cohorts and Longitudinal Analysis), несомненно, могут пролить свет на основные тренды компании, не стоит полагаться на них как на индикатор причинной зависимости. Если вы ввели новое ценностное предложение 1 мая, а 1 июня наблюдали падение конверсии на 15%, не стоит предполагать, что это произошло из-за нововведения.
Экономист Стивен Левитт, автор книги «Фрикономика» (Freakonomics, Steven Levitt), выступая, рассказал историю, прекрасно демонстрирующую когнитивное искажение в корпоративном контексте.
Левитт был приглашен в компанию в качестве консультанта по эффективности маркетинговых кампаний. Незадолго до этого накануне одного из самых популярных праздников Америки — пусть это будет День отца — целый ряд региональных газет разместил рекламу, принесшую заказчикам большой успех. Естественно, был сделан вывод о том, что именно объявления стали причиной скачка доходов. Как будто продажи могут подскочить как по мановению волшебной палочки, только благодаря выходу рекламных текстов. Post hoc ergo propter hoc.
Но дело было в том, что руководство никогда не контролировало процесс.
Левитт предложил провести контрольные проверки в различных регионах, включая районы размещения рекламы, а также местности, где ее не применяли.
Что же они нашли? Рекламирование никак не повлияло на результаты.
Начальник: Некто вновь прислал мне на ящик анонимное письмо со ссылкой на статью о худших боссах мира. Я получаю такую рассылку каждый раз, когда прихожу из твоего кабинета. Ты думал, я не замечу связь? — Подчиненный: Взаимосвязь не подразумевает причинной обусловленности.
Запомните, взаимосвязь не подразумевает причинной обусловленности. Только по тому, что посетители, совершающие действие X, конвертируют в Y раз лучше, нельзя сказать, что X стало причиной этого. Только по тому, что вы внедрили изменение и со временем увидели результат, невозможно судить, что имевшая место перемена повлияла на полученный результат. Чтобы устранить когнитивное искажение, необходимо проводить контрольные эксперименты (и даже в этом случае действовать осторожно, особенно если занимаетесь сезонным бизнесом).
5. Ложная дилемма
Ложная дилемма (False Dilemma), кому-то более известная под именем «ложная дихотомия» (False Dichotomy), — это, согласно Википедии, «ошибка в рассуждении, заключающаяся в упущении иных возможностей, кроме некоторых двух рассматриваемых».
Стоит отметить, что это довольно популярный инструмент политической манипуляции. Чтобы навязать свою точку зрения, хитрые политиканы, писатели и ораторы создают ложную дихотомию, звучащую примерно так: «Если вы не на этой стороне, значит вы на той». «Та сторона» при этом выглядит довольно неприглядно, вынуждая вас принять позицию, с которой вы не вполне согласны.
Бенито Муссолини: «Вы или с нами, или против нас». Джордж Буш-младший: «Вы или с нами, или с террористами». Дарт Вейдер: «Если ты не со мной, значит ты мой враг». Вик Тоус: «Или вы на нашей стороне, или с теми, кто занимается детской порнографией»
Возвращаясь на знакомую почву, справедливо отметить, что многим из нас приходилось бороться с искажением, родственным описанному выше, — систематической ошибкой согласованности (Congruence Bias), или «тенденцией проверять гипотезы исключительно путем прямого тестирования, пренебрегая косвенным или отвергая его» (Википедия).
Эндрю Андерсон (Andrew Anderson), руководитель отдела оптимизации компании Recovery Brands, не так давно писал в блоге на эту тему:
«[Феномен возникает, когда] вы создаете несостоятельный по природе выбор, к примеру, один баннер против другого или один заголовок против другого, а затем проводите тесты, чтобы посмотреть, какой работает успешнее. В действительности существуют сотни различных путей, но зачастую мы ограниченно смотрим на вещи. Вы создаете ошибочный выбор из того, что уже есть, и того, что вы хотите видеть.
Даже если вы получите ответ, он не будет стоить ни гроша Нельзя полагать, что выбор был удачным только из-за того, что новый заголовок оказался лучше. Вы не можете придавать большое значение ограниченному сравнению, поскольку на самом деле проверяется всего лишь ущербная гипотеза. Задача профессионала, отвечающего за исследования или тесты, — сравнивать все имеющие силу альтернативные предположения, но мы продолжаем держаться за те вещи, которые хотим видеть победителями, застревая в когнитивном искажении, тратя на это часы работы».
Решение — в проведении итеративных, повторяющихся тестов (Iterative Testing). Неразумно будет отвергать гипотезу на основании того, что вы провели сплит-тестирование вариации, и она провалилась. Существует бесконечное количество способов претворения стратегии в жизнь.
Не позволяйте одному подобному тесту (зеленая кнопка призыва к действию против красной) ограничить программу экспериментирования
Обрисуем ситуацию. Вы провели значительное количество исследований в области конверсии, приоритезировали список гипотез. И это было не просто «протестировать цвет кнопки» — вы хорошо постарались и выделили круг возможностей. Пришло время проводить эксперименты.
Обширное количество опросов, тестов и эвристических анализов дали вам понять, что, прежде всего, нужно усовершенствовать значки безопасности на странице оформления покупки. Пользователи, вводящие информацию со своих кредитных карт, не чувствуют, что они надежно защищены.
И вы осуществляете тест «Страница с логотипом безопасной оплаты против страницы без него». Результат? Никакой разницы.
Не исключено, что гипотеза изначально была неверна. Но вот действительно стоящий вопрос: сколько возможностей существует для улучшения восприятия надежности оплаты? Сколько мы можем сделать видов дизайна, чтобы решить проблемы с безопасностью?
Ответ будет — бесчисленное множество.
Не ограничивайте ложной дихотомией диапазон тестирующих программ. Выставление варианта А против варианта Б без обращения к полной группе идей или предыдущих улучшений приводит к усилению дихотомии при тестировании.
Эндрю Андерсон предлагает следующее: «Всегда убеждайтесь, что вы проводите не только те тестирования, которые, как вам кажется, приведут к положительному результату. Разрабатывайте тесты вокруг всех возможных опций, а не только касающихся наиболее популярных мнений о том, как решить текущую проблему».
6. Ошибка интерпретации
Ошибка интерпретации (Narrative Fallacy) возникает, когда кто-то пытается приписать причинную связь несоответствующим исходным величинам, чтобы создать единую историю. Это подобно другому заблуждению, ошибке единственной причины (Fallacy of a Single Cause): желая упростить вещи, человек пытается найти ответ на порой неразрешимый вопрос «почему?».
Ошибка интерпретации, названная так и популяризированная американским экономистом Нассимом Талебом (Nassim Taleb), встречается повсюду. Если вы углубитесь в тему, то удивитесь, насколько часто ее можно увидеть в повседневной жизни. Читая книгу писателя и журналиста Малкольма Гладуэлла (Malcolm Gladwell) вы не можете не заметить влияние эффекта упрощающей интерпретации, например в суждении, касающемся связи между азиатскими народами и их способностями в математической науке:
«Выращивание риса закладывает основы культурного шаблона, работающего особенно заметно, когда дело касается математики… Культивирование риса — одна из наиболее трудоемких форм сельского хозяйства. Оно также требует наибольших умственных затрат… Существует прямая связь между усилием и вознаграждением. Вы получаете со своих рисовых плантаций именно то, что туда заложили».
Логика здесь прослеживается такая: выращивание риса → особый математический талант (неверная интерпретация).
Эндрю Андерсон в своей статье о данном ЛЛУ и других post-hoc логических заключениях отметил, какой удар они могут нанести по программе тестирования. Он также привел упражнение, используемое им при консультировании занимающихся тестами организаций:
«Новых консультантов я прошу взять любой проводимый ими тест, результатов которого они еще не знают, и объяснить мне, почему каждый вариант в тесте является наилучшим выбором и почему его непременно ждет победа.
Каждый раз в начале этой игры консультанты говорят мне о невозможности такого объяснения, возражают, жалуются на трудность толкования. Но на четвертом или пятом тесте они замечают, как на самом деле легко формулировать такие выводы:
«Версия резонирует с людьми, поскольку она улучшает ценностное предложение и устраняет помехи».
«Версия помогает вывести на новый уровень пользовательский путь, выгодно подчеркивая ключевые продающие моменты, так что покупатели просто обязаны предпринять действие».
«Версия использует цвета, способствующие усилению осведомленности о продукте и добавляющие заметности бренду».
Имейте в виду, что участники не видят результатов тестов и понятия не имеют, что действительно работает, а что нет. Это просто истории, созданные с целью создания истории… Я применял упражнение, чтобы помочь людям увидеть, как часто и просто они могут создавать такое повествование. В реальности данные ни в коем случае не являются доказательством никакой из историй, потому что это невозможно само по себе. Одна из самых серьезных ошибок — смешение возникающего в голове экспериментирующих вопроса «почему?» с реальным опытом, получаемым в процессе тестирования.
Вы можете прийти к любому количеству вариантов, при этом история, рассказываемая самому себе, будет всего лишь ментальной моделью, предшествующей реальному опыту. Сам опыт независим от модели, и все же люди продолжают их ассоциировать».
Основной итог: перестаньте пытаться привязать «почему?» к своим данным. Протестировав новое ценностное предложение, вы получили победителя, но это могло произойти по множеству причин, включая ту, что вы придумали для себя. Но если вы предполагаете, что «красный связан в сознании со срочностью, а нашим посетителям нужно такое ощущения для совершения покупки», то эта легенда произведет свой эффект на программу тестирования и ограничит ее.
Заключение
Наиболее часто встречающиеся недостатки программ тестирования не имеют ничего общего с погрешностями данных: они связаны с особенностями человеческого поведения и неверными решениями. В центре проблемы лежит склонность полагаться на ложные логические умозаключения и когнитивные искажения, почти не опознаваемые нами.
Данная статья обрисовала 6 из них, наиболее препятствующих оптимизации, но есть и другие (избирательный подход, систематическая ошибка выживания, ошибка игрока).
Работая над оптимизацией (особенно это касается тех, кто занимает руководящие позиции в команде), примите к сведению все вышеперечисленное, устраните искажения с целью повышения эффективности тест-программ.
Был ли у вас опыт столкновения с ложными умозаключениями? Видели ли вы их в действии? Как вы решали их? Напишите нам в комментариях.
Высоких вам конверсий!
По материалам conversionxl.comimage source bishopsavas
