У многих наших пользователей часто возникают вопросы по оптимизации конверсии лендингов (Conversion Rate Optimization, CRO). В связи с этим мы подготовили для вас компиляцию ответов экспертов на 30 наиболее часто встречающихся вопросов, начиная с того, как получить одобрение руководства на проведение тестов, до персонализации и влияния CRO на SEO.
Для вашего удобства все ответы распределены по нескольким тематическим категориям.
Не будем медлить и перейдем к делу.
Стратегия оптимизации
Какова самая часто совершаемая ошибка, имеющая негативное влияние на конверсию сайта?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Я думаю, что наиболее распространенная ошибка — стратегическая, когда маркетологи переходят к оптимизации, не имея ни четкого плана, ни подходящей команды перед началом экспериментов.
Я видел, как многие компании охватывает радостное волнение по поводу оптимизации конверсии. Взрослые дяди и тети становятся похожи на детей в магазине сладостей: они хватаются за кучу идей, стремятся получить быстрые результаты и делают глупейшие ошибки, приходя к неубедительным итогам, и все из-за того, что они не отслеживали данные должным образом.
И это убивает всю мотивацию. Самый важный ресурс — это поддержка ваших руководителей. Нужно быть очень осторожными с этой поддержкой, потому что вы можете быстро ее потерять, сделав что-то не так.
Важно сначала убедиться, что у вас имеются все необходимые составляющие: стратегия, команда, данные и технология. Также обратите внимание на то, что вам может понадобиться несколько запасных вариантов, обеспечивающих хорошую основу для работы в будущем и поддержку сверху».
Каковы наиболее важные вопросы, которые стоит задавать в фазе исследования?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «В этой фазе мы ищем барьеры, мешающие посетителям, и информацию о том, какие вопросы задавать и подвергать оценке. Мы пытаемся определить:
- Что препятствует конверсии?
- Каковы мотивационные триггеры, действующие на вашу аудиторию?
- Почему люди покупают у вас?
Ответы на эти вопросы приходят путем проведения качественных и количественных исследований. При этом мы уже точно знаем, на какие вопросы пытаемся ответить, и определяем, работают ли в жизни те идеи, что мы получили на стадии исследования».
Можно ли слишком увлечься тестированием и/или оптимизацией? Или здесь сложно переборщить?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Многие считают, что невозможно улучшать опыт, посадочную страницу или сайт вечно. Вопрос, возникающий у многих маркетологов, звучит так: как узнать, сколько еще нужно этим заниматься? Будет ли результат стоить того при больших усилиях?
Но мы еще не видели ни одну компанию, которая бы «перетестировала». И причина в том, что ожидания посетителей продолжают расти, ваши конкуренты совершенствуются, и у вас постоянно возникают новые вопросы о вашем бизнесе, бизнес-модели, уникальном торговом предложении (Value Proposition, сокр. УТП) и т.д.
Возможности для тестирования кончатся только тогда, когда у вас отпадет необходимость в развитии бизнеса. Именно в этот момент можете смело прекращать оптимизацию.
Но ни одна компания не является идеальной, и ни одно руководство не понимает все до конца. Так что экспериментирование никогда себя не исчерпает».
Есть ли разница между оптимизацией конверсии на мобильных устройствах по сравнению с десктопными?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Вы должны иметь возможность использовать один и тот же процесс оптимизации как для мобильных, так и для десктопных устройств.
Однако, как правило, существуют значительные различия в аналитике мобильных и десктопных сайтов (уровни трафика, коэффициенты конверсии), а также в том, как ваши посетители используют соответствующие сайты. Настолько, что, хотя мы используем один и тот же процесс для роста и получения идей, мы в то же время обычно анализируем оба варианта отдельно друг от друга».
Персонализация
Когда результаты лучше — при внедрении персонализации или регулярного сплит-тестирования? Или каких-либо других методов?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Персонализация — это сейчас модный термин. И она важна. Но это не новая идея. Просто теперь доступны технологии и инновационные инструменты, и у нас много данных, что позволяет нам лучше персонализировать опыт.
Я не считаю, что персонализация и сплит-тестирование являются взаимоисключающими понятиями. Персонализация представляет собой тактику, которую вы можете тестировать и проверять во всех видах своего опыта. Но экспериментирование больше связано со стратегией.
Поддержание духа экспериментаторства в организации означает, что вы будете тестировать все. Вы можете тестировать персонализацию, новые линейки продуктов, количество продуктов или разные типы офферов, содержащих УТП. Все это входит в ареал экспериментирования, если компания заточена под такой стиль.
Персонализация же на самом деле — это тактика. Целью персонализации является создание более релевантного опыта или более релевантного послания. И это единственное, что она делает. И справляется она с этим очень хорошо».
Можно ли переборщить с персонализацией? У нас есть клиент с более чем 40 образами идеальных покупателей и весьма сложной стратегией, из-за чего становится трудно обосновать отчетность.
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Это интересный вопрос. В отличие от тестов, я считаю, что существует реальная опасность слишком увлечься персонализацией. Компании часто с головой погружаются в данный процесс. Они используют все возможности инструментов персонализации для создания (в случае упомянутого клиента) 40 персон идеальных клиентов и очень сложной стратегии. И они не понимают, что стоимость обслуживания персонализации весьма высока. Важно доказать, что стратегия персонализации обеспечивает достаточную ценность для бизнеса, чтобы оправдать увеличение затрат на нее.
Подумайте: каждый раз, когда у вас появится новый продукт, послание или кампания, вам нужно будет создавать персонализированный опыт для 40 разных клиентов. А это в 40 раз больше усилий по сравнению с придумыванием общего оффера. А если вы с самого начала не протестировали все образы идеальных покупателей, чтобы доказать, что все эти персонажи точны и полезны, то вы можете потратить много времени и сил.
Мы всегда начинаем стратегию персонализации с вопроса: «Какие у нас есть образы покупателей?», — а затем доказываем, действительно ли эти персоны представляют ярко выраженную ценность или же они должны быть сгруппированы в меньшее количество более лаконичных образов. Затем мы проверяем офферы, чтобы увидеть, есть ли те из них, что работают лучше для каждого человека. Это пошаговый процесс, позволяющий нам планировать дополнительные расходы на то, что необходимо, что создает ценность».
С развитием технологии персонализации увидим ли мы исчезновение более широких сегментов? Перейдем ли мы к персонализации 1:1 или же большие сегменты останутся актуальными?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Широкие сегменты не исчезнут, они останутся жизнеспособными. В случае с многопотоковой персонализацией (Multi-Threaded Personalization) вы сможете наложить имеющуюся у вас информацию (рекомендация продукта или поведенческий таргетинг) поверх более широкого сегмента. Если пользователь попадает в широкий сегмент, то данный оффер будет ему показано в одной области, а в другой он увидит послание 1:1.
Но если вы попытаетесь устранить широкие сегменты и создать только персонализацию 1:1 (1:1 Personalization), то вы обеспечите себе постоянную рабочую нагрузку, пытаясь поддерживать все эти сегменты с разным контентом. А бесконечное производство контента отделом маркетинга практически невозможно».
Хадсон Арнольд (Hudson Arnold), старший консультант по стратегии в Optimizely: «Абсолютно точно, что вам нужно и то, и то. Существуют разные возможности и разные UX-решения для этих вопросов. Некоторым коммерческим компаниям и медиаорганизациям не придется потеть над производством контента, потому что естественный итог персонализации 1:1 будет показывать определенный продукт или статью, которую им не нужно будет поддерживать с точки зрения контента.
Что они будут упускать, так это понимание того, каких больших сегментов им не хватает. Не нужен ли таргетинг молодых мам? Молодоженов? Начальников технических отделов? Или лучше менеджеров по продажам? Каким бы ни было различие, обмен посланиями на уровне сегментов будет оставаться критически важным в обозримом будущем. И лучший подход к персонализации — поиск баланса между тем и другим».
Как вы объясните смысл персонализации тем, кто до сих пор считает, что она сводится к внесению на лендинг полей для имени и фамилии?
Андре Морис (André Morys), CEO и основатель konversionsKRAFT, представитель немецкого CRO-агентства Web Arts: «Я сравнил бы ее с опытом, получаемым людьми в реальном магазине. Если вы заходите в розничный магазин и хотите купить телевизор, продавец будет наблюдать за тем, как вы говорите, как вы ходите, как вы одеты, и он будет соответствующим образом адаптировать свою коммерческую подачу. Он заметит, пришли ли вы с семьей, первый ли это ваш визит в магазин или 20-й. Представьте, что все эти данные есть в его голове.
Персонализация — это искусство перенесения знаний о том, как разговаривать с людьми, на уровень 1:1 на вашем сайте. И это не всегда легко, потому что у вас могут отсутствовать данные. Необходимо выяснить, какие данные вы можете использовать. И если вы проведете персонализацию правильно, то получите большой подъем».
Джон Экман (John Ekman), основатель и CEO of Conversionista!: «Я слышал, как один психолог сказал, что у людей больше общего, чем различий. Если вы ищете очень сильные стратегии убеждения, то вместо того чтобы думать о разных индивидуальных чертах и предпочтениях клиентов, лучше поразмыслите о том, что у них общего. Потому что вы охватите больше людей своими кампаниями и посадочными страницами. Будет интересно посмотреть, куда приведет битва между методами общего убеждения и индивидуальными методами персонализации».
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Я склонен согласиться с тем, что погружение в нирвану персонализации 1:1 может быть не лучшей идеей в некоторых случаях, поскольку это чревато непредвиденными последствиями. Во-первых, когда все персонализируется, становится труднее найти обобщенное понимание вашего позиционирования, вашего уникального торгового, или ценностного предложения с точки зрения клиентов.
Другая причина заключается в том, что наличие действительно хорошей персонализации значительно повышает стоимость обслуживания. Если вы осуществляете персонализацию 1:1 для 1000 человек и в какой-то момент обновляете функции продукта, то вам нужно будет подумать о том, как кастомизировать новое послание 1000 раз вместо простого обновления одного старого послания. Вы должны подтвердить, что ваш подход к персонализации окупается, имеет достаточную выгоду для бизнеса и что затраты и прибыль сбалансированы».
Дэвид Дарманин (David Darmanin), основатель и генеральный директор Hotjar: «Мы фактически не персонализируем. Это мощная вещь, но для разворачивания такой стратегии всегда нужно время. Если персонализация добавляет сложностей и замедляет вас, то очевидно, это может быть проблемой. Касательно большинства сложных вещей, я считаю, что они становятся особенно значимыми, если представляют большую ценность, и тогда использование персонализации имеет серьезное влияние.
В нашей компании мы имеем дело с большим объемом товаров и более низким ценовым порогом, поэтому персонализация для нас не является приоритетом. Тем не менее, мы не оставляем ее без внимания. Но на сегодняшний день мы представляем собой стартап, работающий в отрасли, где скорость решает все. И наличие большого количества общих каналов важно настолько, насколько это возможно, поэтому мы не хотим усложнять процесс. Но если вы продаете очень дорогие вещи и находитесь на более продвинутой стадии, было бы нелогично не использовать персонализацию».
SEO против CRO
Как избежать нанесения вреда SEO при проведении оптимизации конверсии?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Google полностью поддерживают оптимизацию. Они не наказывают компании за выполнение сплит-тестирования, если тесты настроены правильно и компания использует правильный инструмент.
Кроме того, мы обнаружили, что принципы оптимизации конверсии идут параллельно с принципами хорошей SEO-практики.
Если вы создаете отличный опыт для своих пользователей и все большее их количество конвертируется, то это фактически посылает Google положительный сигнал, что ваш контент качественнее остального.
Google обращает внимание на пого-стикинг (Pogo-Sticking), при котором пользователи оказываются на странице с результатами поисковой выдачи (Search Engine Results Page, SERP), находят результат, а затем возвращаются обратно к SERP. Как раз такое поведение отсылает поисковой системе сигнал о некачественном контенте. Если посетитель приходит на вашу страницу и конвертируется, не собираясь возвращаться к SERP, то Google получает положительный сигнал. Мы никогда не сталкивались с примером негативного влияния на SEO программы оптимизации конверсий».
Получение одобрения на проведение экспериментов
Пытаясь получить поддержку руководства, лучше делиться вариантами, касающимися значимых областей, или небольшими победами?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Отчасти это зависит от того, каковы ваши ставки. Если у вас нет большой уверенности в эффективности внедрения программы оптимизации, я бы рекомендовал начать с менее заметных тестов. Постарайтесь получить импульс в виде первых удачных вариантов, а уже затем делитесь своими успехами с руководителями, чтобы показать потенциал. Это поможет вам получить одобрение для более заметных областей.
Между прочим, данный нюанс является одним из факторов, который стоит учесть при приоритезации областей для тестирования. PIE-фреймворк покажет вам 3 фактора для такой приоритезации:
Пример анализа приоритетов согласно PIE-фреймворк
Один из этих факторов — простота. Потенциал, важность и простота. А в плане простоты особое значение имеет легкость (в плане политики компании). Поэтому стоит искать области, характеризующиеся отсутствием чувствительных моментов (то есть вряд ли это сразу будет главная страница). Получите первые победы и создайте импульс, а затем можете начать делиться ими со всей организацией с целью получения поддержки».
Кого можно назвать ключевыми игроками, одобрением которых стоит заручиться, причем не только в среде высшего руководства, но и среди остальных важных членов команды?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Помимо высшего руководства и ключевых лиц, принимающих решения, рационально получение одобрения от отделов, занимающихся брендингом, маркетингом, дизайном, копирайтингом, управлением контента и т.д.
Поддержка этих команд не только способствует общему процессу утверждения идей, но и помогает обеспечить согласованность выигрышных результатов теста с общей бизнес- и маркетинговой стратегией.
Вы также должны рассмотреть возможность привлечения команд, которых процесс касается косвенно, таких как поддержка клиентов. Это делает их частью данного процесса и культуры тестирования, плюс ориентированные на клиента команды представляют собой отличный источник для идей и по бизнесу в целом, и по тестированию в частности».
CRO для сайтов с низким трафиком
Как добиться успеха на сайтах с небольшим трафиком?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Наш опыт тестирования показал, что мы получаем самые удачные результаты, когда чувствуем, что у нас есть глубокое понимание посетителей сайта. В бесконечном процессе оптимизации (Infinity Optimization Process) это понимание достигается благодаря сбалансированному подходу между исследованиями и валидацией идей и результатов.
Бесконечный процесс оптимизации повторяется циклично и приводит к продолжающемуся росту и появлению новых идей. Левая часть восьмерки относится к исследованию (в центре находится модель LIFT, к ней примыкают пользовательское исследование, цифровая аналитика, принципы убеждения, бизнес-контекст и архив тестов). Правая часть восьмерки — валидация (PIE-фреймворк, разработка экспериментов, UX/UI, разработка, А/Б-тестирование в живом времени, анализ результатов и создание гипотез). На стыке этих двух частей (в оранжевой точке) получаем рост и понимание
Когда трафик сайта низкий, возможности валидации уменьшаются, поэтому мы стараемся восполнить пробел, увеличивая временные затраты и объем работы на этапе исследований.
Мы берем еще не подтвержденные сведения, найденные на этапе исследования, создаем более крупную, более эффективную единичную вариацию и тестируем кластер изменений. (Такая вариация, как правило, радикальнее той, что мы создаем для клиента с более высоким трафиком, поскольку мы можем легко проверить эти идеи с помощью нескольких тестов.)
Из-за более резких изменений вариация должна оказывать большее влияние на коэффициент конверсии (и, по идее, получить статистическую значимость при более низком трафике). Поскольку мы исследовали доказательства для поддержки этих изменений, существует большая вероятность того, что они проявят себя лучше, чем стандартный редизайн.
Если на сайте не хватает общих первичных конверсий, но вам обязательно нужно тестировать, тогда я бы искал вторичную метрику, согласно которой можно оптимизировать. Это должны быть цели, указывающие на первичную конверсию или направляющие к ней (например, клики по форме > отправка формы, добавление в корзину > покупка). Однако в плане этой стратегии все заинтересованные лица должны понимать, что увеличение показателей по вторичной цели может быть напрямую не привязано к такому же улучшению показателей по основной цели».
Какие приоритеты для тестирования выбрать на странице с низким трафиком, чтобы добиться статистической значимости?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Возможности, оказывающие наибольшее влияние, на самом деле зависят от ситуации и контекста. Поэтому у главной страницы, лендинга или страницы продукта будут разные возможности.
В любом случае начните с попытки понять своих клиентов. Если у вас сайт с низким трафиком, вам нужно потратить больше времени на качественную исследовательскую работу, цель которой будет понять, каковы возможности и барьеры, возникающие перед вашими посетителями, и разведка будет производиться в основном с их точки зрения. Тогда у вас будет более мощная подготовка к тестам.
Тестировать нужно будет кардинально, с меньшим количеством вариаций, имеющих более резко выраженные изменения, кроме того тестирование будет длиться дольше. И пока оно проводится и вы ждете результатов, поговорите со своими клиентами. Запустите еще несколько пользовательских тестов, сверьтесь с вашими опросами, внедрите появляющиеся после покупки анкеты, сядьте за телефон, чтобы услышать мнение клиентов. Все это улучшит вашу способность представлять вещи с точки зрения клиентской перспективы и обретать мощное понимание вещей.
Вещи, имеющие наибольшее влияние, связаны с изменениями в УТП, с попытками понять, подходит ли ваш товар под рынок, есть ли у вас правильное описание продукта, ведете ли вы дела, ориентируясь на ценностное предложение».
Насколько далеко стоит заходить с оптимизацией воронки и тестированием, если у нас небольшой региональный бизнес?
Дэвид Дарманин (David Darmanin), основатель и генеральный директор Hotjar: «Что подразумевается под небольшим региональным бизнесом? Если вы представляете собой только набирающий обороты стартап, мой совет — перестать думать об оптимизации и сосредоточиться на моментах сбоя. Пробуйте себя в разном, меняйте вещи, получайте какую-то реакцию, растите, а оптимизировать начнете позже. Если же вы — небольшой, но устоявшийся местный бизнес, и у вас есть трафик, но он низкий, то все обстоит по-другому. В конечном итоге оптимизация конверсий как раз-таки является игрой с трафиком. Ею стоит заниматься, если вы являетесь пусть небольшим региональным бизнесом, но с большим трафиком. Если же трафик низкий, сфокусируйтесь на качественных показателях, поговорите со своими пользователями, потратьте больше времени на понимание того, что происходит».
Джон Экман (John Ekman), основатель и CEO of Conversionista!: «Если вы не способны тестировать до получения статистической значимости, то вам следует обратиться к качественным исследованиям. Это даст вам лучшие результаты. Если у вас нет трафика для тестирования на последнем шаге воронки, то вы придете к тому, что будете тестировать в ее начале. Вы обратите внимание на вовлеченность или клики, и вам придется предположить, что не уходящие с сайта и кликающие люди будут конвертировать. А это не всегда так. Вместо этого начните работу с инструментами по качеству, чтобы увидеть, что посетители на самом деле делают на вашей странице, и начните оптимизацию с этой точки отсчета».
Андре Морис (André Morys), CEO и основатель konversionsKRAFT, представитель немецкого CRO-агентства Web Arts: «Тестирование с небольшим размером выборки действительно опасно, поскольку это может привести к неправильным предположениям в том случае, если вы не являетесь экспертом в области статистики. Даже если вы получаете от 10 000 до 20 000 заказов в месяц, это все равно небольшое число для А/Б-тестирования. Помните о том, как работают числа. У нас были люди, утверждавшие, что они наблюдали рост на 70%, в то время как число конверсий изменилось на 64 против 27. Опасность в том, что у вас будет не результат, а полная ерунда».
Советы по внутрикорпоративной оптимизации
Как получить одобрение от заинтересованных лиц, таких как CEO компании, на внедрение оптимизированного подхода вместо радикального редизайна?
Джейми Элджи (Jamie Elgie), руководитель отдела маркетинга в Wilson Electronics Inc.: «Мой совет для тех, кто продвигает оптимизацию внутри организации: сосредоточьтесь на общей цели.
Для нас речь шла о том, чтобы сделать маркетинговые расходы более эффективными. Если вы сможете расширить воронку, подтолкнув людей к конверсии с помощью медиасредств, работы в соцсетях, по электронной почте и т.п., а затем будете обрабатывать их, то вы будете более эффективными.
Как только начнется процесс, продукт будет продавать сам себя. Нам не пришлось долго ждать, чтобы увидеть действительно значимые результаты, способствующие достижению конечной цели, а также общей стратегии перевода затрат на медиа в более «таргетированное» русло».
Что вас удивило при проведении CRO? Что обратило на себя особое внимание?
Джейми Элджи (Jamie Elgie), руководитель отдела маркетинга в Wilson Electronics Inc.: «Мы постоянно переживаем «Ага!»-моменты. Мы постоянно учимся. Мы тестируем те вещи, которые, по всеобщему мнению, не должны были быть изменены на нашем сайте или в оффере, и извлекаем из этого знания.
Мы сейчас проводим один тест, и он терпит неудачу, что разочаровывает. Но с этим меняется основной акцент в команде, потому что мы чему-то учимся. И делаем мы это, несильно рискуя. И для меня это самое лучшее в оптимизации. Она не просто влияет на маркетинговую воронку, она также делает нас сильнее.
Одним из самых больших преимуществ для меня и моей команды было то, насколько эффективно было просто сказать: «Мы можем это проверить».
Если у вас есть продавец, в чем-то сильно уверенный, а у вас есть чувство, что он ошибается, лучше всего сказать: «Окей, давай протестируем».
Это позволяет попробовать даже самые абсурдные идеи, которых иначе не возникло бы. Тестирование устраняет споры, основанные не на объективных данных, а на субъективном мнении. На самом деле это даже объединяет команду: люди начинают понимать, что им не нужно быть экстрасенсами. Вместо этого можно протестировать свою точку зрения, а затем сделать выводы из результата. Если вам удастся внедрить эту культуру, она трансформирует не только ваш маркетинг, но и всю компанию в целом».
Оптимизация в разных отраслях бизнеса
Есть ли у вас какие-нибудь советы по оптимизации конверсии, если цикл продаж характеризуется большой длиной (например, около 1,5 месяцев)?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Это обычная проблема в B2B или для компаний, имеющих продукты с высоким ценником. Лучшим подходом будет:
- Мониторить лиды и возможности для получения идей о вариациях;
- Затем отследить путь потенциальных клиентов до продажи;
- Наконец, посмотреть, меняется ли средняя стоимость заказа для разных вариаций, что подразумевает мониторинг качества лидов.
У нас есть пример с нашим клиентом, компанией Magento. Мы задали себе вопрос: «Какой из призывов к действию фактически порождает самые ценные лиды?», — и провели эксперимент, чтобы выяснить это. Мы отслеживали весь путь лидов до покупки. Это помогло Magento оптимизировать призывы к действию в будущем. И это важный вопрос, который нужно задавать в начале вашей программы оптимизации: имеем ли мы хорошую «приманку» для посетителей?».
Когда процесс продаж длится дольше обычного, первым шагом становится мотивирование посетителей к конверсиям. У нас есть «мягкие» виды конверсий (электронная книга) и более срочные (запрос демоверсии). Нужно ли нам выбирать только одну из этих конверсионных возможностей или ценится любая конверсия?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Каждая вариация теста должна основываться на одной первичной гипотезе. И каждая гипотеза должна основываться на единственной конверсионной цели. Это поможет вам не сместить фокус и не использовать недальновидный подход простого «улучшения сайта».
Однако этот сфокусированный подход не означает, что вы должны игнорировать все другие бизнес-цели. Вместо этого считайте их вторичными и рассматривайте в рамках анализа результатов, полученных в ходе тестирования.
Если тест увеличивает количество запросов демоверсии на 50%, но «съедает» конверсии по электронной книге на 75%, то, в зависимости от ценности цели первого и второго, нужно сделать расчет для определения того, является ли общий чистый итог подобного компромисса положительным или отрицательным.
Различные тестовые гипотезы также могут иметь разные цели относительно первичных конверсий. Один тест может быть сосредоточен на демо, в то время как следующий — на загрузке электронных книг. Вам просто нужно отслеживать любые другие цели, связанные с ростом прибыли, чтобы убедиться, что вы не убиваете одни конверсии за счет других и что это не оказывает отрицательного воздействия на каждый тест».
Вы в основном говорите о сайтах, имеющих конкретную цель по конверсиям, например, покупку продукта или внесение пожертвования. Какую конверсионную метрику вы бы порекомендовали для сайта клиентской поддержки?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Когда мы помогаем клиентам определять метрики конверсии, мы всегда предлагаем следить за деньгами.
Поймите, какое влияние оказывает поддержка клиентов на итоговую прибыль вашей компании, а затем определите измеримый KPI, доступный для отслеживания.
Например, приведет ли повышение эффективности онлайн-поддержки к снижению расходов, необходимых для обеспечения телефонной связи или ответов по электронной почте (конверсионная цель: сокращение количества вызовов/email-запросов о представлении помощи)? Или это приведет к повышению удовлетворенности клиентов и, следовательно, увеличению жизненного цикла клиента (цель конверсии: повышение индекса потребительской лояльности, или NPS, посредством опроса на сайте)?».
Применим ли результат по одному клиенту к ситуации другого? Получаете ли вы универсальную информацию или она уникальна для каждого вида аудитории?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Этот вопрос затрагивает самую суть, в которой мы в свое время нашли для себя много возможностей. Когда я открывал WiderFunnel в 2007 году, я думал, что мы будем специализироваться на одной отрасли — нам все об этом говорили. Люди советовали специализироваться, сосредоточиться на одном и стать отраслевым экспертом. Но я использовал возможности по мере их появления во всех видах отраслей. И пришел к обратному выводу.
Мы специализируемся на процессе оптимизации и персонализации и создании мощного тестового дизайна, но итоги этой работы относятся ко всем видам бизнеса.
Люди — это люди, неважно, покупают ли они сервер, носки либо делают пожертвование в пользу стран третьего мира: все они проходят через один и тот же ментальный процесс.
Иногда тактика немного отличается. Но часто мы обнаруживаем прорывные идеи, так как применяем принципы одной отрасли к другой. Например, мы принимаем принцип электронной коммерции и определяем, в каком месте сайта B2B-компании мы можем его применить с учетом того, что потребители проходят через один и тот же этап в процессе.
Большинство маркетологов тратят много времени, размышляя о конкурентах в своей сфере бизнеса и не обращая внимания на другие отрасли, потому что заметить все возможности довольно трудно. Но зачастую мы способны взглянуть на опыт совершенно иными глазами — если делаем это через объектив другой индустрии. Это очень мощное оружие».
Что касается компаний, которые нельзя назвать e-Commerce в строгом понимании этого понятия и которые имеют несколько организационных подразделений с разными целями, можно ли отметить какие-либо проблемы, возникающие при попытке оптимизировать часто просматриваемую страницу (главную страницу, к примеру) так, чтобы она понравилась всем? Является ли персонализация лучшим подходом в данном случае?
Ник Соу (Nick So), директор отдела стратегической оптимизации в WiderFunnel: «Мы часто работаем с организациями, имеющими несколько отделов с различными бизнес-целями и планами. Мы считаем, что лучшее решение — четко определить денежную ценность конверсионной цели №1 для каждой заинтересованной стороны и/или подразделения компании и найти зоны сайта с наибольшим потенциальным влиянием для каждой цели.
В большинстве случаев наиболее эффективная тестовая зона для одной цели будет отличаться от таковой для другой конверсионной цели (например, узнаваемость бренда на главной странице и особенности оформления корзины для электронной коммерции).
Когда необходимо рассмотреть две разные гипотезы с разными целями по конверсии на одной тестовой области (например, на главной странице), команды могут взвешивать количественное воздействие + внутреннюю выгоду компании и на этой основе вести переговоры о приоритизации и графике тестирования между командами.
Я бы не рекомендовал персонализацию для этой цели, поскольку это был бы временный компромисс, ограничивающий креативность и стратегичность гипотез, а также создающий разрозненный опыт для посетителей, что негативно отразится на всем.
Если у вас нет выбора и вам нужно одновременно запускать противоположные стратегии на одном отрезке сайта, вы можете использовать несколько вариаций для разных команд и измерять разные цели. Или выполняйте взаимоисключающие тесты (имея в виду, что эта тактика замедлит скорость теста и потребует большей координации между командами)».
Различаются ли стратегии тестирования в зависимости от культуры страны? Существует ли явное различие между коэффициентами конверсии в разных странах или на сайтах с разными языками при применении данных стратегий?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Мы проводили тесты для многих клиентов за пределами США, например, в Израиле, Швеции, Австралии, Великобритании, Канаде, Японии, Корее, Испании, Италии и для магазина Олимпийских игр, представляющего собой глобальный e-Commerce опыт на одном сайте!
Конечно, нужно исходить из определенных культурных соображений и вводить некоторые особенности в тактику. В некоторых странах, например, не распространено использование кредитных карт, и магазины привыкли использовать альтернативные способы оплаты. Веб-дизайн многих азиатских сайтов покажется чересчур «захламленным» и ярким западноевропейским посетителям».
Разработка и настройка экспериментов
Каковы ваши рекомендации относительно баланса между скоростью экспериментирования и качеством, а также насчет более изолированного дизайна?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Именно здесь вступает в игру искусство стратега в области оптимизации. И именно на это — на создание планов экспериментов — мы тратим большую часть наших усилий. Мы смотрим на различные варианты, доступные для тестирования, и безжалостно сужаем их список, ограничиваясь теми, что максимизируют потенциальный рост и способствуют получению идей.
Существуют методы, которые мы используем для достижения данной цели. Все сводится к приоритизации. Есть сотни идей для тестов, поэтому необходимо приоритизировать как можно большее количество данных. PIE-фреймворк позволяет определять приоритеты идей и областей тестирования на основе их потенциала, важности и легкости. Потенциал для улучшения, важность для бизнеса и простота внедрения. Иногда они немного субъективны, но чем большим количеством данных вы можете поддержать свои решения, тем лучше будут ваши фокус и направленность усилий на достижение результатов».
Можно заметить, что у вас часто есть несколько показателей успеха. Приводит ли это к тому, что приходится тщательно выбирать метрику, чтобы убедиться, что тест, вариант которого вы хотите видеть выигрышным, действительно выглядит победителем?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Хороший вопрос! Мы и правда ищем одну основную метрику, открывающую нам бизнес-ценность выигравшего теста. Но мы также отслеживаем вторичные показатели. Цель состоит в том, чтобы извлекать выводы и из других метрик, но не использовать их для принятия решений. В большинстве случаев мы ищем основную метрику, положительно влияющую на прибыль. Например, доход с посетителя (Revenue-Per-Visitor, RPV) — это одна из главных используемых нами метрик. Но другие показатели, будь то коэффициент конверсии, или средняя стоимость заказа, или сведения о загрузках, больше скажут нам о пользовательском поведении и дадут более глубокое понимание.
В нашем процессе оптимизации есть два шага, соединяющиеся друг с другом в фазе валидации. Один из них — разработка экспериментов, второй — анализ результатов. И если второй выполнен правильно, все показатели, рассматриваемые с точки зрения эффективности вариаций, расскажут больше об изменениях. И если дизайн экспериментов выполнен верно, то вы извлечете аналитическое понимание изо всех данных.
Но нужно смотреть только на одну метрику, чтобы узнать, успешен ли тест».
В какой момент достигается статистическая значимость тестов? Мы столкнулись с проблемой изменяемости результатов теста в зависимости от дня недели, в который проводился тест. Иногда нам даже приходится осуществлять тест несколько раз.
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Похоже, что вы заканчиваете тесты или пытаетесь начать анализ результатов слишком рано. Конечно, вам не нужна нестабильность результатов, связанная с разными днями недели (так называемая «сезонность»). Тесты должны длиться не менее недели, в идеале включая два выходных, чтобы сгладить этот эффект, тогда ваш тест будет включаться в разные контексты в зависимости от дня недели (на это также сильно влияет ваша отрасль деятельности).
Так что проводите тесты дольше и ставьте целью статистическую значимость. Необходимо использовать инструменты, достоверно рассчитывающие статистическую значимость и помогающие ответить на реальные вопросы, которые вы пытаетесь решить с помощью оптимизации. Вы должны стремиться к высокой статистической значимости, сглаживая вариативность результатов. Иногда смотрите также на месячные колебания и заново тестируйте то, что вызывает сомнение, в периоды высокой и низкой срочности. Все эти советы более или менее актуальны в зависимости от сферы вашего бизнеса и того, являются ли колебания в результатах тестов серьезным фактором».
Существует ли способ точно сказать, почему результат теста был неудачным или неоднозначным? А также знать, где скрывается ценная информация?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Выработка сильных гипотез зависит от наличия жизнеспособных теорий. Нахождение ответа на вопрос «Почему?», стоящий за результатами, — это один из самых интересных моментов работы. Единственный способ ответить на него со всей определенностью — предположить причину, а затем протестировать ее с новой стороны с целью проверки данного предположения. В конце концов, вы сможете сформулировать теории оптимизации конверсии и затем провести тесты на основе этих теорий.
Вы никогда не сможете точно ответить на вопрос «Почему», но наличие теорий и принципов, работающих на прогнозирование результатов, будет столь же полезно.
Приведем пример. Я рассматривал результаты недавнего теста, проведенного для одного из наших клиентов, и, согласно модели LIFT (The Landing Page Influence Function for Tests, LIFT — модель для анализа уровня конверсии лендинга и поиска решений для его оптимизации), они не имели смысла. Одна из вариаций оказалась менее эффективной, чем другая, но я был абсолютно уверен, что первая вариация должна была превосходить вторую по эффективности. Некоторое время я пытался соотнести эти сведения об эффективности с существующими у нас теориями и в итоге обнаружил, что коэффициент конверсии был введен с опечаткой! Теперь правильный результат идеально соответствовал нашим исходным предположениям, и ночью я смог уснуть спокойно».
Сколько посещений необходимо для получения статистически значимых данных от любого отдельно взятого теста?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Количество посещений — это лишь одна из переменных, определяющих статистическую значимость. Коэффициент конверсии контрольного варианта и допустимые погрешности (дельта) в коэффициентах конверсии между вариациями также являются частью вычислений. Статистическая значимость достигается тогда, когда наличествует достаточный объем трафика (то есть размер выборки), достаточное количество конверсий и достаточно большая дельта коэффициента конверсии.
К счастью, современные средства тестирования автоматически вычисляют статистическую значимость, что упрощает принятие решений относительно чемпиона по конверсии (и экономит часы, которые в ином случае вы бы потратили на расчет вручную!).
При планировании тестов полезно оценивать их продолжительность, но помните: это неточная наука. Как правило, тесты с изоляцией более медленные, поскольку влияние на коэффициент конверсии может быть меньше. Тест может потребовать больше конверсий для достижения уверенности в итоге.
Более крупные и резкие изменения в кластерах будут выполняться в течение более короткого периода времени, поскольку они имеют больший потенциал произвести серьезный эффект. Тем не менее, мы наблюдали, что иногда изоляция тоже может иметь большое влияние. Если основания достаточно сильны, продолжительность теста не должна мешать вам пытаться проверить меньшие, более изолированные изменения, поскольку они могут привести к одним из самых больших продвижений.
Часто незнакомые с тестированием люди разочаровываются в тестах, которые, как кажется, никогда не заканчиваются. Если вы провели тест, имея от 30 000 до 50 000 посетителей, и какой-то вариант по-прежнему не является статистически значимым по сравнению с другим, то ваш тест может не дать явного победителя, и вы должны будете пересмотреть свой план тестирования или уменьшить количество тестируемых вариантов».
Мы — новички в оптимизации (у нас было несколько быстрых побед в сплит-тестировании, а сейчас мы работаем над проектом по геотаргетингу). Если сверяться с подходом бесконечного процесса оптимизации, то, похоже, мы неплохо справляемся с фазами исследования и валидации, несмотря на то что это новые для нас программы. Проблемное место для нас — оранжевая точка в данной схеме, или попытка свести эти две стороны вместе. Можете что-то нам посоветовать?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Если вы собираете идеи на стадии исследования, то эти идеи должны быть связаны с проводимыми вами валидационными тестами. Вы должны проверять достоверность данных, получаемых на этапе изучения. Если вы начнете работу с жизнеспособных идей, то результаты приведут к росту и получению достоверных знаний.
Частью этого является процесс разработки экспериментов (Design of Experements, DOE), то есть то, как вы структурируете свои гипотезы и вариации, чтобы генерировать как рост, так и идеи, а это и есть две главные цели тестирования.
Если вы не создаете рост или не генерируете идеи, то, возможно, слаб ваш DOE, и вам нужно вернуться к своей стратегии и спросить себя: почему я тестирую этот вариант? Это просто случайная идея? Или я действительно изолирую его от другого варианта, который научит меня чему-то, а также обеспечит подъем? Если вы не понимаете момент с оранжевой точкой, то вам, вероятно, стоит подробнее погрузиться в тему разработки экспериментов».
Как узнать, когда останавливать тест, не демонстрирующий значимые результаты после многократных показов, и двигаться дальше?
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Это вопрос, зависящий от многих факторов, в частности от того:
- Есть ли у вас другие тесты, работающие с теми же источниками трафика;
- Показывают ли результаты тестов высокую волатильность или они стабилизировались;
- Насколько важны для организации результаты тестирования.
Для каждого теста есть альтернатива, и цена выбора может быть меньше или больше. Всегда можно тестировать что-то еще, и вы должны постоянно спрашивать себя, хорошая ли это мысль — проводить тест сейчас, а также учитывать стоимость и потенциальное преимущество следующего теста для вашей конверсионной стратегии».
Тестирование и технологии
Есть множество инструментов, позволяющих увеличить скорость тестирования с помощью встроенных виджетов и даже тестовых вариаций. А что вы думаете об этом?
Джон Экман (John Ekman), основатель и CEO of Conversionista!: «Предварительно созданные шаблоны обеспечивают быстрые победы и подъем. Но вы не поймете, чем был вызван подъем. Вы не поймете, что происходит в головах ваших пользователей. Для тех, кто считает, что эксперименты — это способ заглянуть в мысли находящихся перед экраном людей, имейте в виду: эти методы довольно опасны».
Крис Говард (Chris Goward), исполнительный директор WiderFunnel: «Я займу нескольку иную позицию. Как бы много я не говорил о понимании того, что происходит в умах потребителей, необходимости задавать вопрос «Почему?» и тестировании, базирующемся на гипотезах, существует компромисс. Компромисс между пониманием «Почему?» и намерением расти. Если вы хотите всегда иметь ответ на вопрос «Почему?», вам стоит проводить мультивариантное тестирование, изолируя каждую потенциальную переменную. Но на практике это сложно воплотить. Лишь немногие обладают достаточным объемом трафика, позволяющим осуществлять такие тесты.
Если у вас нет огромного трафика, но вы хотите получить результаты быстрее, возможно, вам и не нужно знать ответ на вопрос «Почему?» и просто сосредоточиться на подъеме.
Должно быть время и для того, и для другого. Допустим, производительность вашего сайта реально плохая или вы просто решили опробовать необычную вариацию, чтобы посмотреть, работает ли она. Если вы получите 20%-ное увеличение прибыли, тест нельзя считать провальным. Это нельзя назвать неправильным решением. Уже постфактум вы можете вернуться и изолировать все возможное, чтобы спросить тебя: «Так, интересно, почему победил тот вариант», — и начать с этого места.
Мы советуем оставлять 10% на необычные или странные вариации. Мы не уверены, почему они могут сработать, но мы тестируем самые сумасшедшие варианты и смотрим, не приживутся ли они».
Дэвид Дарманин (David Darmanin), основатель и генеральный директор Hotjar: «Я согласен и несогласен. Мы живем в эпоху, когда технологии стали настолько дешевыми, что автоматизация некоторых вещей, по моему мнению, начинает представлять опасность для любой компании, если они не хотят стать одними из многих.
Создание уникального опыта работы с клиентами будет становиться все более важным.
Если вы используете инструменты, такие как платформа, где есть возможность выбирать опции, работающие на вашу стратегию, то это не лишено смысла. Но я думаю, что очень опасно делать процесс полностью автоматизированным.
Некоторые компании по разработке программного обеспечения пытаются создать полностью автоматизированные платформы по оптимизации конверсии, выполняющие абсолютно все функции. Но это безумие, если множество сайтов будут выглядеть одинаково, если все будет представлять собой чистый искусственный интеллект. Кто победит? Компания, которая появится из ниоткуда и сделает все по-другому: не совсем «оптимизировано», зато более человечно.
Оптимизация ради оптимизации — это плохо. Если мы устраним человеческий аспект, то нам всем придет конец».
Высоких вам конверсий!
По материалам widerfunnel.com Источник картинки: richgoldcow
