Мультивариантное тестирование (multivariate testing) считается более совершенным маркетинговым инструментом, чем традиционный сплит-тест, так как оно позволяет максимизировать конверсию любого ресурса с высокими показателями трафика. Теоретически, не существует предела количества комбинаций, которые могут быть протестированы, что и создает мощную альтернативу традиционному тесту.
Преимущества этого вида эксперимента и доказывать не нужно, все плюсы лежат на поверхности. Однако мультивариантное тестирование не так просто провести, как кажется на первый взгляд. Думаете, необходимо придумать несколько случайных комбинаций, забросить их в «блендер» и тест готов? Нет. Прежде, чем разрабатывать гипотезы и ввязываться в эту процедуру, подумайте, а стоит ли игра свеч?
Что такое мультивариантное тестирование
Многовариантное тестирование — метод для проверки гипотез, в котором изменяются несколько переменных. Оно отличается от А/B-тестов, которые предполагают одновременную проверку и анализ лишь одного элемента. Вместо проверки версии А и версии В одного элемента, при мультивариантном тестировании вы можете протестировать неограниченное количество переменных, например, версии А, B, С, D И Е сразу.
Зачем это нужно?
Если сплит-тестирование обычно используется для анализа одного существенного изменения, то многовариантное — для одновременного анализа множества элементов на веб-странице.
Одним из наиболее популярных элементов для тестирования по праву считается заголовок страницы. Если он будет релевантным запросам аудитории и вашим целям, то вы сможете значительно увеличить коэффициент конверсии лендинга.
Предположим, вы решили протестировать заголовок и придумали еще несколько вариантов, чтобы точно убедиться, что существующий на данный момент — лучший.
Мы меняем лишь один элемент (одна переменная), но предоставляем ряд различных вариантов этого элемента.
Далее предположим, что к нам пришла идея улучшить целевую страницу через изменение главной картинки (hero image). То есть, мы решили проверить исходную версию страницы, изменяя уже две переменные — заголовок и картинку.
Изображение — это одна переменная, а заголовок — вторая. Технически, это A/B-тест с двумя переменными. В чем его минус? Если один из вариантов окажется более результативным, мы никогда не узнаем, что именно оказало наибольшее влияние на увеличение конверсии — изображение или заголовок.
Чтобы тщательнее протестировать все комбинации, нужно разработать несколько вариантов для каждой переменной.
Получаем две переменные с двумя вариантами — это пример многовариантного тестирования. Итого: четыре варианта страницы на основе двух переменных (картинка и заголовок), каждая из которых имеет два варианта.
Еще не запутались?
Многовариантный тест — это проверка нескольких вариантов и нескольких переменных на лендинге или сайте.
Текущий вариант лендинга.Подберем два дополнительных варианта изображения, чтобы в итоге получилось три (с уже существующим) — и сделаем то же самое с заголовком.
Здесь представлены три изображения.
Вот три заголовка, в том числе и существующий:
- Облегчение бремени задолженности: метод, который работает
- Освободите себя от бремени долга
- Избавиться от долгов
Мультивариантный тест позволит нам проверить все вышеописанные комбинации. Даны две переменные с тремя вариантами каждая, в итоге мы получаем девять возможных комбинаций: 3 изображения * 3 заголовка = 9 комбинаций.
Чтобы понять, как соотносятся варианты и переменные, приведем еще один пример. Интернет-компании считают, что посетители чаще всего не завершают процесс оформления заказа по одной из трех причин:
- Не видно политики возврата (return policy)
- Приходится создавать аккаунт
- На ресурсе не обозначены символы безопасности/доверия
Казалось бы, все эти запросы и ходы весьма обоснованы для интернет-магазинов, однако иногда они могут работать против вас. Единственный способ узнать, что же именно уводит посетителей со страницы — провести тест.
Сколько переменных получится в данном случае? Три: политика конфиденциальности, регистрация и символы безопасности. Для переменных есть всего два взаимоисключающих варианта: отображение элемента на странице или его отсутствие. Это 2 х 2 х 2, или восемь комбинаций. Запомните этот пример, мы будем использовать его далее при разборе особенностей мультивариантного тестирования.
Многовариантное тестирование бесполезно в большинстве случаев?
Многовариантный тест предполагает проверку всех возможных комбинаций и вариантов с учетом одной или нескольких переменных. Если провести тест с приведенными выше вариантами интернет-магазина, то он будет выглядеть так.
Вариации умножьте на количество тестов, каждый из которых требует немало трафика и конверсий. Есть много причин, по которым не стоит каждый раз выбирать многовариантное тестирование для данного бизнеса, но главных всего пять:
- Нехватка времени или трафика
- Сумасшедшие (и нежизнеспособные) комбинации
- Растрата ресурсов
- Отсутствие данных о реальных предпочтениях пользователя и причинах его выбора
- Тест ради теста.
Разберем каждую из них более подробно.
1.Многовариантные тесты занимают много времени и/или требуют много трафика
Трафик на каждый тест — это, казалось бы, небольшой процент от общего числа посетителей. Но сколько тестов в результате вам придется провести? Если не можете похвастаться высокими показателями трафика, то потребуется больше времени, чтобы достичь статистической значимости — и вы не сможете отбросить заведомо проигрышные варианты, пока не достигнете этой точки.
Статистическая значимость в данном случае важна, т.к. только при ее достижении можно оставаться уверенным, что результаты теста «не подкачают» в будущем, а выбранный вариант окажется лучшим по всем объективным показателям и позволит увеличить конверсию. Кроме того, статистическая значимость измеряется количеством успешных (т.е. завершенных) операций/заказов/сделок. Например, компания MXToolbox предлагает бесплатные инструменты для менеджеров и многое другое. На их сайте также представлены платные тарифные планы с расширенными функциями.
Ресурс MXToolbox получает миллионы посетителей каждый месяц, и многие из них впоследствии останавливаются на платных услугах. Но даже с миллионами посещений количество сделок все же недостаточно велико, чтобы оправдать многовариантное тестирование. И речь не только о трафике, но и о потраченном времени (иногда от регистрации до закрытия сделки проходят дни/недели/месяцы!).
2. Варианты размножаются как кролики
Как вы уже убедились, даже три переменных с двумя вариантами привели к восьми вариациям, и добавив символы безопасности, мы получим до шестнадцати комбинаций. То есть трафик для каждого варианта будет снижен до 6.25%.
Важно то, что все больше вариаций означает больше ошибок и погрешностей из-за… статистики.
В сплит-тесте с двумя вариациями можно достичь статистической значимости за срок в две недели. Однако в тесте с шестью вариациями, возможно, придется работать в течение четырех недель, чтобы достичь той же статистической значимости.
Теперь представьте многовариантный тест с десятками вариаций. Дабы избежать все возрастающей погрешности, приходится «загонять» больше трафика, чтобы гарантировать, что полученные результаты не сгенерированы случайным образом, а действительно имеют ценность.
Более того, в конечном итоге окажется, что большинство этих вариантов даже и не стоило испытывать. В приведенном выше примере все восемь вариаций по-прежнему имеют смысл в любом из возможных сочетаний. Но при добавлении некоторых вариаций вы рискуете получить какой-то совершенно сумасшедший коктейль.
Представьте себе такую картину: вы отправились с сыном в поход, но ночью вдруг начался дождь, вашу палатку заливает водой, и вы судорожно ищете на планшете, куда бы оправиться переночевать и заодно поужинать. Пролистав страницу поисковика с результатами, вы кликаете на один отель. Заголовок на сайте гласит: «Шведский стол без ограничений». Кажется, хотя бы поесть здесь можно. Далее вы прокручиваете страницу и видите двух улыбающихся людей на стойке регистрации, но нет фотографий номеров. Еще ниже расположена кнопка призыва к действию «Забронируйте массаж сегодня».
Это что, какая-то шутка? Как бы странно это ни звучало, но этот пример — набор самых выигрышных комбинаций мультивариантного тестирования. Вы рискуете получить те варианты, которые привлекают внимание посетителей, способствуют увеличению конверсии, но вместе они создают какую-то какофонию, как кеды для бега в сочетании с классическим костюмом.
Что же делать? Есть два варианта:
- Начать терять клиентов, предлагая им всевозможные автоматически сгенерированные варианты (не рекомендуется).
- Потратить некоторое время и убедиться, что каждая из комбинаций жизнеспособна.
Второй вариант потребует больше ресурсов и ограничит творческие идеи, но и в этом случае вам стоит помнить о том, что нужно больше трафика, чтобы проверить даже оставшиеся.
Со сплит-тестированием вы выбираете сами, какие тесты проводить, а какие исключить. Можете возразить, что создание каждой вариации отнимет слишком много времени, а многовариантный тест — это простой способ проверить все варианты сразу. Но готовы ли вы рискнуть клиентами? Стоит подумать дважды.
3. Потеря ресурсов
Тестирование и оптимизация должны сопровождать развитие любого интернет-ресурса. Разработчиков будоражит возможность поймать удачу за хвост, совершить маркетинговый прорыв или открытие, которое повысит прибыль компании в разы. Звучит привлекательно, не правда ли? К сожалению, в жизни прийти к такому результату непросто: те варианты, которые будут отставать от общей динамики завершения сделок, грозят вам потерей прибыли (формула простая: меньше сделок = меньше денег).
Каждый тест, A/B или многовариантный, имеет встроенную плату за проведение эксперимента. В идеале, мы хотели бы, чтобы все проигрышные варианты «отваливались» своим чередом. Но статистически есть шанс, что любой из вариантов станет победителем, пока не достигнут уровень статистической значимости. Однако если кажущийся проигрышным вариант обходится вам во много конверсий, его лучше остановить прежде, чем он достигнет статистической значимости. Так вы сможете снизить затраты на проведение теста и направить больше трафика на другие, более жизнеспособные вариации. Кроме того, в результате на сам тест уйдет меньше времени, т.к. статистическая значимость будет достигнута быстрее. А если тесты выполняются быстрее, то можно позволить себе проводить их более часто.
Ларс Лофгрен (Lars Lofgren), директор по развитию компании KISSmetrics, подчеркивает: нужно помнить, что чем дольше вы проводите тест, тем выше вероятность, что издержки на его проведение будут лишь накапливаться. Если вы ждете слишком долго, то автоматически отказываетесь от серьезных побед, которых можно достичь, запустив в это время другие тесты.
4. Почему — это важный вопрос
Оптимизация будет эффективной, если вы узнаете, почему ваши клиенты ведут себя так, как ведут. Мультивариантный тест поможет найти лучшие сочетания с точки зрения повышения конверсии, но что нового вы узнаете таким образом о своих клиентах?
При выполнении всех тестов в одно время вы упускаете процесс понимания своей аудитории. Вернемся к примеру из самого начала статьи. Предположим, наш многовариантный тест показал, что это была выигрышная комбинация:
Отлично, выигрышную комбинацию нашли, время радоваться, но… Вы знаете, ПОЧЕМУ она стала выигрышной? Какой вывод можно сделать из полученного результата? Какой элемент был самым важным для посетителей? Политика возврата? Удаление регистрации? Добавление символов безопасности?
И почему вообще все это важно? Ответы на эти вопросы позволят в будущем быстрее и легче разрабатывать тесты и гипотезы. Знай мы точно, что добавление символов безопасности было самым значимым для пользователей, то смогли бы улучшить показатели конверсии, разместив их и на других страницах. Но мы этого не знаем наверняка.
Когда вы получаете какую-то информацию через эксперимент, то с уверенностью можете применить эту концепцию к другим страницам сайта или ресурсам. Если бы мы знали, что политика возврата является одним из основных факторов, повлиявших на решение посетителей, то добавили бы этот элемент везде, даже в рекламные сообщения. Но это лишь гипотеза, правдоподобность которой мы так и не выясним.
Не стоит рассматривать тестирование лишь как источник дополнительных доходов. Каждый тест способен дать вам ценную информацию для понимания ваших посетителей. Но в случае с мультивариантным тестированием этот вопрос остается открытым.
5. Тест ради теста
Многовариантные тесты соблазнительны. Они могут побудить вас на тестирование многих элементов просто потому, что вы можете это сделать. Однако сам факт придумывания нескольких гипотез и запуска теста на их основе еще не гарантирует вам никакого результата. Вполне возможно, что все ваши гипотезы ни на чем не основаны.
Тестирование в науке проходит по следующему алгоритму:
1. Исследование конкретной проблемы.
2. Разработка гипотез.
3. Выбор наиболее вероятной гипотезы.
4. Разработка тестов для проверки гипотез.
5. Запуск эксперимента в контролируемой среде.
6. Оценка результатов.
7. Разработка новых гипотез, основанная на полученной информации.
Опасность многовариантных тестов заключается в том, что вы зачастую пропускаете шаги 3, 4 и 7. По сути, вы не проводите всестороннего исследования проблемы, не разрабатываете обоснованные гипотезы, а просто бросаете итоги мозгового штурма в «блендер», включаете его и ждете, что же произойдет.
Эндрю Андерсон сказал об этом процессе: «Вопрос не в том, что вы можете сделать, а в том, что сделать необходимо».
Просто потому, что вы можете проверить огромное количество вариаций, не стоит проводить тест. Где гарантия, что он окажется эффективным, а инвестиции окупятся? Если вы проводите тест ради теста, то тратите время, ресурсы и теряете потенциальную прибыль. Что бы вы ни делали, всегда старайтесь оптимизировать процесс: получать максимально достоверные результаты за меньшее количество ресурсов.
Машинное обучение и тестирование
Многовариантное тестирование не стоит на месте. Сегодня для его проведения начинают использовать искусственную нейронную сеть (neural network). Это математическая модель, а также ее программное воплощение, построенные по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Сеть представляет собой систему соединенных и взаимодействующих между собой простых процессоров, каждый из которых получает и отправляет сигналы другим процессорам. С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п.
Данный способ позволяет минимизировать статистические погрешности, получать более точные результаты — более того, уже нет необходимости проверять все возможные комбинации. Эти эволюционные алгоритмы позволяют сокращать неэффективные варианты в пользу более вероятных победителей. Этот подход способствует получению результатов с меньшим трафиком.
С помощью машинного обучения сайты, которые пока не генерируют много трафика, смогут также проводить многовариантное тестирование.
Стоит ли вообще проводить мультивариантные тесты?
Есть случаи, когда использования многих переменных не избежать, и тогда лучше обратиться к этому методу. Сам принцип мультивариантного тестирования заставляет взглянуть на лендинг или страницу сайта как на систему, в которой все элементы связаны.
В то же время вы можете тестировать лишь выбранный набор элементов. Мультивариантное тестирование требует времени, но оптимизация порой не терпит быстрых и необоснованных решений. Крис Говард (Chris Goward) из WiderFunnel признается, что компания проводит один мультивариантный тест на 10 сплит-тестирований.
Высоких вам конверсий!
По материалам: conversionsciences.com
