Подход, основанный на дисциплине, разрабатывался на протяжении последних 12 лет при сотрудничестве с более чем 300 компаниями. Данная методология позволила провести практически идеальную серию тестов — за пять с половиной лет маркетологи получили всего лишь 6 ошибочных результатов. В теории это звучит весьма заманчиво, но поверьте, на практике все обстоит еще лучше.
В сегодняшней статье мы немного отвлечемся от теоретической стороны вопроса и ознакомим вас с наиболее важными аспектами этой альтернативной стратегии по оптимизации тестирования.
Фокусируйтесь на дисциплине, а не тесте
В большинстве случаев мы затрачиваем на генерацию новых идей для теста уйму времени и ресурсов, но на самом деле каждая отдельная концепция попросту отвлекает нас от главного и мешает понять, где и что именно мы должны тестировать. Дабы выяснить это, следует руководствоваться только реальными данными и меньше полагаться на собственные догадки.
Рассматривайте все идеи как взаимозаменяемые и не привязывайтесь к возможной эффективности одной из них. Ваша задача заключается не в том, чтобы максимизировать дельту одного опыта, или потенциал определенной идеи — для этого необходимо сосредоточиться на улучшении результатов тестирования и максимальной отдаче ресурсов.
Бессмысленно верить в успех конкретной идеи — важно лишь то, что в конечном счете, одна из них окажется верной. Качество любого отдельного опыта не имеет никакого значения для системы в целом. Это значит, что чем больше решений вы протестируете, тем вероятнее вам удастся отыскать толковую версию и получить лучшие результаты. Забудьте об эффективности какой-либо одной идеи и разрабатывайте каждый тест таким образом, чтобы получить с его помощью как можно больше информации.
Основной причиной, по которой эта методология называется «основанной на дисциплине», является то, что она игнорирует любые мнения. Данная стратегия нацелена, прежде всего, на сбор специфической информации, ее использование и эффективность. Вам придется игнорировать собственные убеждения, а также советы окружающих, и сосредоточиться на максимизации результатов теста.
Больше тестов не значит выше результат
Зависимость между количеством опций и продуктивностью
Существует когнитивное искажение (action oriented bias), согласно которому люди считают, что их продуктивность повышается вместе с уровнем занятости. Правда заключается в том, что между активностью и результатом есть незначительная корреляция, поэтому при разработке теста нужно фокусироваться на результате.
На практике 10 правильно сделанных тестов всегда будут превосходить 100 других, плохо проработанных тестов, причем в несколько раз. С точки зрения тестирования, это значит, что вы должны больше думать об эффективности, а не о количестве тестов.
Более того, это также значит, что вы не должны тратить время на бессмысленные правки и изменения, которые могли бы улучшить опыт. В тестировании 90% всегда лучше, чем 100%. Согласно статистике, ваши доработки скорее ухудшат текущий результат, нежели окажут какой-либо позитивный эффект.
Все держится на эффективности
Вам необходимо продумать для себя список приоритетных опций и работать с той концепцией, которая будет наиболее эффективной в вашем случае. Будьте строгими в вопросах дисциплины, но гибкими в тактическом плане:
1. Простота внедрения
Вы можете знать, какой именно тест вам нужно провести, но если для его подготовки нужно по меньшей мере 5 месяцев, вам лучше уделить внимание более простым проектам оптимизации конверсии. Впрочем, вы также можете немного подождать и заняться изучением другой части вашего ресурса, пока ваша команда наладит все для интересующего вас тестирования.
2. Учитывайте вероятность результата
Другой ключевой фактор эффективности заключается в том, что вы должны отбирать тесты, основываясь не только на ресурсах, но и на вероятности результата. Вероятность определяется количеством опций, диапазоном тестируемых вариаций и числом вовлеченных пользователей в каждом отдельном случае.
Это значит, что вам необходимо учитывать количество версий, которые вы действительно сможете проверить в рамках тестирования. Чем меньше опций, тем менее ценным является тест. К примеру, тесты с 4 и меньшим числом вариаций лучше проигнорировать, поскольку при таких условиях ваши шансы на получение хороших результатов и обнаружение полезной информации сводятся к минимуму.
Обнаружение как часть эффективности
По сути, оптимизация представляет собой процесс обнаружения и использования данных. Руководствуясь этой мыслью, вы должны не только применять собранную информацию по мере ее поступления, но и прорабатывать методики для улучшения поиска необходимых сведений.
Очень важно, чтобы вы действовали так, словно о вашем сайте и его пользователях вам ничего не известно — это позволит вам взглянуть на ситуацию более масштабно. Думайте об этом как об известном парадоксе Манти Холла, но вместо 3 дверей у вас есть 10, 20 или даже 100 дверей. Кроме того, ваш выбор не ограничивается только высокой или низкой вероятностью — вы можете выбрать одну дверь или даже все. В тестировании всегда найдется место для ваших предположений, но вы не должны полагаться на них в своей работе.
Запомните одну простую истину: в тестировании вы зарабатываете намного больше денег, когда ошибаетесь, чем когда правы.
В некотором смысле данный этап можно назвать деконструкцией, так как вам придется пересмотреть ваш взгляд на привычные вещи, чтобы отыскать ошибки и выгодные возможности. Считаете эту посадочную страницу обязательной? Не забудьте сравнить ее эффективность с другими страницами. Думаете, что заголовок или изображение играет важную роль? Сравните их влияние с другими элементами страницы или сайта.
Старайтесь действовать как можно активнее, чтобы раздобыть достаточно много информации. Вы должны искать возможности для ее обнаружения. Помните, что ошибки всегда будут ценнее правоты. Когда ваши предположения оказываются верными, вы просто получаете ожидаемый эффект, но оступившись хотя бы раз, вы начинаете работать еще усерднее и добиваетесь лучших результатов.
Ложные срабатывания
Так называемые «ложные срабатывания» сказываются на данной программе крайне негативно. Это значит, что вам нужно будет компенсировать потерю прибыли при помощи другого теста, кроме того, из-за подобных ошибок вам также придется затрачивать ресурсы менее оптимально. К сожалению, проблема большинства методик заключается именно в том, что они приводят вас к ложным результатам.
Что может пойти не так
На самом деле к ложным срабатываниям вас может привести что угодно, будь то предвзятое распределение аудитории, медлительность или наоборот поспешные действия, человеческие предубеждения и многое другое. Вы должны постоянно оставаться начеку, чтобы избежать этих разрушительных факторов. Работа над тестом не завершится, пока вы не поймете, каким образом вам удастся исключить ложные результаты.
Конечно же, самая плохая новость состоит в том, что вы не знаете, когда совершили ошибку. Вот почему так много программ предоставляют результаты, которые сперва кажутся более существенными, но на практике оказывают на бизнес незначительное влияние. Остерегайтесь таких просчетов на всех этапах тестирования и делайте выводы только на основе достоверных данных.
Часто мы считаем, что можем ответить на вопросы, касающихся не известных нам вещей. Мы хотим объяснить всем суть происходящего, но чтобы справиться с этой задачей, мы игнорируем важные сведения и опираемся преимущественно на собственное мнение. Такое поведение является полной противоположностью рационального принятия решений и может лишь препятствовать вашим усилиям. Сосредоточьтесь на том, что произошло, и прекратите гадать, почему так случилось.
Не таргетируйте просто ради самого факта
Вы должны искать во всех тестах разрабатываемые сегменты (один или несколько сегментов, которые отреагировали не так, как остальные) — это позволит вам создавать динамический опыт, основанный на разнообразных методиках изучения пользователей.
Ключевой момент здесь заключается в том, что мы не ограничиваем то, что видим, нашими соображениями по поводу таргетинга — это просто очередная форма предубеждения. Всегда тестируйте все опции для каждого варианта и не загоняйте себя в рамки своего мышления. Вероятнее всего, к динамическому опыту вас приведут не какие-то конкретные действия, а естественные повседневные усилия.
Речь идет о максимизации результатов за счет анализа всех значимых сегментов, а не о бессмысленном таргетинге. Если вы окажитесь правы касательно одного сегмента, по которому хотите таргетироваться, то узнаете об этом благодаря данным.
Также очень важно, чтобы вы действительно убедились в качестве динамического опыта, прежде чем двигаться дальше, ведь в будущем вас ожидает масса долгосрочных расходов. Всегда взвешивайте соотношение цены/выгоды каждого решения и старайтесь не действовать вслепую.
Не привязывайтесь к мнениям
«Успех и провал вашего проекта определяется еще до запуска, а не после него».
Крайне важно, чтобы вы согласовали все моменты еще до того, как начнете думать о запуске теста. Никогда не начинайте тестирование, если в успехе каждой метрики не уверена вся команда. Вы должны изложить сотрудникам правила действий и добиться согласованности до запуска, дабы убедиться в том, что результаты теста не будут склоняться в сторону чьего-либо отдельного мнения. Построив конструктивный диалог, вы сможете объяснить коллегам ключевые моменты, что приведет к более эффективному использованию ресурсов.
Вам также не следует привязываться к какому-либо конкретном опыту, поскольку это практически всегда влечет за собой подсознательно направленные действия, которые могут склонить вас к определенному мнению. Вы должны сохранять хладнокровную отстраненность и сосредоточиться на улучшении результатов. После теста вы можете в полной мере проявить свои предпочтения касательно той или иной концепции, однако будьте готовы к тому, что приглянувшиеся вам идеи сработают весьма посредственно.
В своих доводах вам нужно отвлечься от контекста и индивидуальных взглядов на ситуацию. Вы должны полагаться на дисциплину и говорить с коллегами о значимых вещах, чтобы в итоге не тратить время на выполнение малоэффективных действий, которые могут показаться вам более целесообразными. Иными словами, все ваши усилия следует направить на борьбу с одним единственным фактором: личным мнением.
Вместо заключения
Описанный подход к проведению тестирования во многом отличается от других программ и методологий оптимизации и существенно превосходит их. Мы не говорим, что эта методика самая лучшая, ведь в дальнейшем ее можно дорабатывать и адаптировать для получения более достоверных результатов.
Никогда не позволяйте личному мнению или ощущению комфорта влиять на то, что вы делаете и как подходите к выполнению задачи. Каждый раз вносите в свои наработки необходимые изменения — оставляйте вещи, только которые дают результат, ставьте под вопрос все ваши решения и развивайтесь как оптимизатор.
Высоких вам конверсий!
По материалам: conversionxl.com, image source marcosmb
