Совсем недавно Крис Дэйли (Chris Dayley), руководитель CRO-отдела в компании Disruptive Advertising, провел небольшой эксперимент на конференции SearchLove в Чикаго. Крис хотел увидеть, насколько хорошо маркетологи смогут применить свои познания в психологии, интуицию и передовые маркетинговые практики, чтобы предугадать, какой дизайн лендинга обеспечит наибольшую конверсию.
Он показал им A/B-тест от реального клиента своей компании. В нем было 4 варианта страницы, и один из них генерировал на 146% больше лидов, чем другие. Затем маркетологам дали ссылку на исследование, чтобы они могли изучить каждую версию страницы более подробно и определиться с победителем.
Взгляните сами — на каком варианте вы бы остановились?
Вот как проголосовали маркетологи:
- Оригинал: 0%
- V1: 32%
- V2: 42%
- V3: 26%
Только одна из этих страниц обеспечила на 146% больше конверсий, так что если мы предположим, что вариация V2 действительно была победной — по меньшей мере 58% маркетологов ошиблись. Но все же суть данного опроса заключалась не в этом.
На самом деле, пока респонденты угадывали, какая страница победила в сплит-тесте Криса, он проводил тестирование на них. Только половине маркетологов варианты были показаны в приведенном выше порядке. Для другой половины оригинальную версию лендинга и страницу V3 поменяли местами:
Во второй группе маркетологов никто не проголосовал за «оригинальную» страницу — даже несмотря на то, что в первой группе она получила 26% голосов. Но еще больше интригует то, что вариант V2 получил больше всего голосов в обеих группах:
Дело в том, что V2 не была самой эффективной страницей — лучший результат принадлежал V3 («control» во второй группе). Это значит, что настоящий победный вариант получил всего лишь 13% голосов.
Но почему? Как профессиональное чутье и проверенные методики могли подвести стольких специалистов? Чтобы получить ответ на этот вопрос, вам необходимо взглянуть на психологию маркетологов под несколько иным углом.
Новее не значит лучше
Абсолютно все участники эксперимента Криса предположили, что выигрышным вариантом не может быть оригинальная страница. В обеих группах вариация, которую назвали «original», не получила ни единого голоса, даже когда она была фактическим победителем.
Каждому, кто занимается сплит-тестами, хочется верить, что в конечном счете их старания приведут к положительным последствиям. Но можете ли вы предположить, что ваши новые идеи сработают лучше?
Нулевая гипотеза
В научном тестировании существует понятие «нулевой гипотезы». Она гласит, что между переменными эксперимента и его результатами отсутствует корреляция. К примеру, если вы меняете цвет кнопки с синего на красный, ваша нулевая гипотеза заключается в том, что конверсия останется неизменной (эффект будет «нулевым»).
По-хорошему, во время исследований вы должны действовать так, словно нулевая гипотеза верна, до тех пор, пока не докажете обратного. Но к сожалению, такой подход используется крайне редко.
Селективное восприятие
Вместо того чтобы предполагать, что изменения не повлияют на конверсию, большинство маркетологов считают, что их доработки приведут к повышению данного показателя. Они становятся жертвами так называемого селективного восприятия (selective perception) и слепо верят в то, что новые решения всегда влекут за собой лучший результат. Именно это произошло с группой маркетологов, которые участвовали в эксперименте.
Вот почему тестирование имеет такое большое значение. Если вы просто предположите, что ваша новая идея окажется более эффективной без каких-либо тестов, то в итоге можете навредить собственному бизнесу.
Я уже знаю, что работает
Вполне возможно, что участники эксперимента Криса не выбрали правильный вариант, поскольку для одной из групп он был помечен как оригинал, и маркетологи не хотели следовать нулевой гипотезе. Но почему так много из них проголосовали за страницу V2? Вероятнее всего, эта вариация была максимально приближенной к их представлениям об успешном лендинге.
Вывод: ваше понимание того, как должна выглядеть качественная целевая страница, не должно мешать вам при проведении сплит-тестов.
Лояльность к авторитетам
В Интернете можно найти множество статей на тему того, как должен выглядеть высококонверсионный сайт, но описанные в них методики далеко не всегда будут срабатывать для вашей аудитории. Пост в блоге (даже этот) или исследование какой-то авторитетной личности не должно становится основой ваших маркетинговых решений. Какими бы полезными не были рекомендации экспертов, они никогда не заменят вашего собственного тестирования.
Пожалуй, самый известный случай неуместного доверия к авторитету произошел в 1923 году, когда знаменитый зоолог Теофил Пэйнтер (Theophilus Painter) выдвинул ошибочное заявление о том, что человеческий геном состоит из 24 пар хромосом.
Современные исследования быстро показали, что на самом деле у людей есть только 23 пары хромосом, но в те времена Теофил был настолько известен, что другие ученые попросту отказывались верить в свои результаты. Более того, во многих учебниках изображения с 23 хромосомами начали подписывать цифрой 24. Это продолжалось больше двух десятилетий, пока кто-то, наконец, не решил, что слова Теофила — еще не повод игнорировать факты.
Мы не говорим, что вы должны полностью отстраниться от авторитетных мнений или исследований. Они могут послужить для вас отличным источником информации и идей. Но если вы слишком сильно сосредоточитесь на «лучших маркетинговых практиках» и не будете проверять свои гипотезы на страницах вашего сайта, ни к чему хорошему это не приведет.
Многие маркетологи из эксперимента Криса Дэйли выбрали вариант V2, так как им показалось, что он лучше всего вписывается в образ успешной страницы с точки зрения «передовых практик». Но на деле такие переоцененные методики редко выливаются в хорошие результаты.
Эффект ложного консенсуса
То, что вы не можете полагаться на популярные практики, еще не значит, что вы должны опираться лишь на собственные суждения. Как бы парадоксально это не звучало, самым опасным авторитетом, которому вы можете довериться, являетесь вы сами. Проблема состоит в том, что маркетологи склонны проецировать свое хорошее отношение к продукту на клиентов, даже когда те придерживаются совершенно иного мнения.
В конце концов, большинство пользователей не понимают, что такое лендинг. Вы можете сказать, что повышение конверсии повлекли ваши дизайнерские доработки, но клиент никогда не скажет вам, что он зарегистрировался на сайте из-за классного главного изображения.
Психологи называют склонность проецировать свой способ мышления на других людей эффектом ложного консенсуса (false consensus effect). Отказываясь от тестирования, маркетологи часто становятся жертвами этого когнитивного искажения и полагают, что клиенты разделяют их мнение о продукте. Разумеется, в некоторых случаях такой подход может сработать, но вероятнее всего, ваша идеальная страница поведет себя так же непредсказуемо, как и ваша аудитория.
У меня есть предчувствие…
Если мы не понимаем, как мыслят другие люди, и не всегда можем доверять советам экспертам, почему так много маркетологов считают, что они «знают», какая идея сработает? На самом деле это вполне нормальная часть человеческой природы. Как правило, люди очень охотно верят в перспективность своих начинаний и в то, что могут с легкостью ее доказать.
Скажем, у вас есть некая теория — например, «рыжеволосые люди очень вспыльчивы» — которую изначально вы узнали еще в детстве от авторитетной личности. Теперь всякий раз, когда вы видите, как человек с таким цветом волос теряет самообладание, вы вспоминаете это предположение и снова убеждаетесь в его правдивости. С течением времени вы накапливаете много воспоминаний о вспыльчивых людях и забываете спокойных, поэтому в итоге решаете, что ваша теория справедлива.
Психологи называют такое поведение предвзятостью подтверждения (confirmation bias). Это склонность человека обращать внимание только на ту информацию, которая подтверждает его существующие мнения. К сожалению, именно этот ментальный ярлык служит основным источником «интуиции» большинства маркетологов.
Если вы руководствуетесь лишь теми данными, которые подтверждают ваше внутреннее чутье, это наверняка поможет вам поднять самооценку, но для разработки и маркетингового продвижения сайта такая стратегия не подходит. Вы можете думать, что отлично понимаете предпочтения вашей аудитории, но если вы не тестировали свои идеи, они вполне могут быть обусловлены вашей предвзятостью подтверждения.
Делайте бизнеса на основе данных!
По материалам: blog.kissmetrics.com
