Эффекты взаимодействия (interaction effects). Это словосочетание вселяет страх в сердце любого, кому приходилось лицезреть параллельное проведение множества сплит-тестов. В лучшем случае экспериментаторы воспринимают эффекты взаимодействия как что-то вроде неудобной реальности, которая заставляет их видеть проведение взаимоисключающих экспериментов более предпочтительным. В худшем — эффекты взаимодействия могут затруднить или сделать невозможным интерпретацию результатов параллельных тестов. Однако бояться этих эффектов совсем не стоит.
В этой статье, посвященной, прежде всего, экспериментаторам и аналитикам, будут рассмотрены следующие аспекты затронутой темы:
- эффекты взаимодействия и их работа в контексте цифровых экспериментов;
- как использовать многовариантные тесты для поиска эффектов взаимодействия и количественной оценки их влияния на метрики эксперимента;
- как положительный эффект взаимодействия может повысить эффективность эксперимента.
Итак, приступим.
Содержание статьи
Что такое эффекты взаимодействия?
Многовариантное тестирование
Поиск эффектов взаимодействия при помощи MVT
Введение в разверстку секций (Section rollups)
Борьба с негативными эффектами взаимодействия
Заключение
Что такое эффекты взаимодействия?
Прежде чем перейти к, собственно, основной теме данного материала, дадим более конкретное определение тому, что называют эффектами взаимодействия. В статистике, например, под взаимодействием понимают «ситуацию, при которой одновременное влияние двух переменных на третью не аддитивно».
В контексте тестирования посадочных страниц эффекты взаимодействия можно наблюдать при одновременном проведении сразу нескольких экспериментов на одних и тех же пользователях. Это может привести к такому изменению их поведения, которое вы не могли бы предсказать, глядя на результаты каждого эксперимента по отдельности.
Рассмотрим пример двух A/B-тестов, проведенных на кнопке Shop Now. В одном опыте тестировали текст кнопки, в другом — ее цвет. Эти тесты настраиваются как взаимоисключающие: это означает, что пользователи, участвующие в одном тесте, уже не могут участвовать в другом.
Серия из двух взаимоисключающих A/B-тестов кнопки Shop Now
После того, как в обоих тестах было достигнуто значение статистической значимости, исследователи обнаружили, что пользователи, которым демонстрировался вариант кнопки с текстом «Discover» (Узнать больше), нажимали на нее на 2% чаще, а те, кому приходилось выбирать между кнопкой белого или красного цвета, на 5% чаще предпочитали последний. Вы можете предположить, что если сделать кнопку, в которой были бы учтены особенности обоих выигрышных вариантов, можно получить улучшение производительности на 7%. Поскольку вы привыкли все проверять (не так ли?), вы поводите еще один тест, в котором тестируете такой вариант кнопки:
К своему удивлению вы обнаруживаете, что посетители, которым была предложена комбинация выигрышных вариантов, нажимали на эту кнопку чаще не на 7%, а на 10%. Откуда взялись эти «лишние» 3%? Это и есть результат эффекта взаимодействия, при котором одновременное влияние двух выигрышных вариантов эффективнее, чем воздействие этих же вариантов, но по отдельности.
Многовариантное тестирование
Эти же типы эффектов можно наблюдать при выполнении многовариантных тестов (MVT), где в тестировании участвуют только комбинации вариантов нескольких секций. Ниже — краткий словарь MVT-терминологии.
Те из вас, кто знаком с многовариантным тестированием, вероятно, смотрели на приведенный выше пример и думали: «Эй, почему вы сразу не провели MVT?» Действительно, он был бы идеальной тестовой установкой для определения наилучшего сочетания текста и цвета для кнопки «Shop Now» (Купить сейчас).
Запуск вышеуказанного теста в качестве MVT будет иметь несколько преимуществ:
- Можно пропустить запуск двух независимых тестов и сразу перейти к тестированию комбинаций.
- Вы можете быть уверены, что найдете наилучшее сочетание переменных, даже если эти переменные, протестированные независимо друг от друга, не работают так же хорошо, как они работают вместе.
Состоятельность преимущества №2 доказывает и то, что ваши результаты MVT сразу будут включать в себя воздействие эффектов взаимодействия. Способность обнаруживать эффекты взаимодействия — основная причина, почему опытные экспериментаторы предпочитают запускать MVT, а не несколько перекрывающих друг друга A/B-тестов!
Поиск эффектов взаимодействия при помощи MVT
Предположим, что вы готовы к поиску положительных эффектов взаимодействия в своих MVT. Что дальше?
Перед запуском теста подумайте, могут ли секции влиять друг на друга. Другими словами, вы с большей вероятностью увидите эффекты взаимодействия, когда они тесно связаны (как в примере с кнопкой выше). Хотя вы, безусловно, можете использовать MVT для определения оптимальной комбинации двух несвязанных переменных (например, hero image на главной странице и количество элементов, отображенных на ней же), но появление эффектов взаимодействия в этом случае гораздо менее вероятно.
После того, как вы соберете достаточный объем данных, можете начать их анализ и поиск эффектов взаимодействия.
Введение в разверстку секций (Section rollups)
Section rollups — это новый режим анализа, который фокусируется на вкладе конкретных вариантов секции в общую производительность MVT. Чтобы произвести разверстку секции, показатели всех комбинаций, которые включают конкретный вариант секции, объединяют вместе: это позволяет взглянуть на результат под новым углом зрения.
Вы можете использовать метод разверстки в качестве способа поиска эффектов взаимодействия в результатах MVT. При просмотре разверстки вы ищете ответ на вопрос «Является ли производительность этого варианта секции лучше, чем я ожидал бы, если бы тестировал его изолированно?».
Хорошая новость заключается в том, что если вы делаете полный факторный MVT (где испытывается каждая возможная комбинация), вы действительно тестируете каждый вариант секции «изолированно» (например, в сочетании с контрольными вариантами всех остальных разделов). В приведенном выше примере комбинация 5 состоит из варианта B секции «Текст» и контрольных вариантов секций «Цвет кнопки» и «Цвет текста». Рост числа конверсий, который был отмечен в данной комбинации, представляет влияние отображения варианта секции «Текст» без внесения любых других изменений в опыт.
Если рост показателя в разверстке гораздо больше, чем в «изолированной» комбинации, то это означает, что производительность других комбинаций будет улучшена положительным эффектом взаимодействия!
Разверстка секции «Текст» демонстрирует 13%-ный подъем варианта B. Это гораздо больше, чем -20%-ное падение комбинации 5. Это означает, что
производительность комбинаций 6, 7 и 8 (другие комбинации, в которых присутствует вариант B секции «Текст») будет улучшена положительным эффектом взаимодействия
Эта эвристическая техника не способна раскрыть все эффекты взаимодействия, поскольку некоторые паттерны распределения влияния могут быть отменены в разверстке секции. Аналитики, которые ищут более полный способ обнаружения и количественной оценки эффектов взаимодействия, могут рассмотреть возможность использования ANOVA, или Анализ Дисперсионной модели.
Борьба с негативными эффектами взаимодействия
До этого момента разговор шел преимущественно о положительных эффектах взаимодействия, но они могут влиять на производительность комбинаций и негативно. Возвращаемся к кнопке Shop Now. Допустим, теперь перед исследователями стоит цель определить оптимальное сочетание цвета кнопок и цвета текста. Макет MVT будет выглядеть следующим образом:
Нам даже не нужно запускать тест, чтобы понять, что сочетание красного текста и красной кнопки будет крайне неудачным.
Если у вас есть основания полагать, что конкретная комбинация пострадает от негативного эффекта взаимодействия, вы можете предотвратить посещение пользователями этого варианта, прибегнув к частичному факторному MVT.
Можно легко оградить весь трафик от попадания на CC-комбинацию в частичном факторном MVT!
Если вы действительно обеспокоены эффектами взаимодействия и хотите предотвратить их влияние, можете поступить иначе и провести несколько взаимоисключающих A/B-тестов. Используя этот метод, можно запретить пользователям доступ к нескольким тестам или позволить пользователям участвовать только в одном тесте за раз. Это уменьшает риск проявления отрицательных эффектов, но это может ухудшить статистическую достоверность ваших тестов, поскольку каждый из них будет конкурировать с другими за трафик. Вы также упустите возможность обнаружить положительные эффекты взаимодействия.
Заключение
В данном материале вашему вниманию был представлен детальный обзор того, чем являются эффекты взаимодействия и как они проявляют себя в сплит- и многовариантных тестах. Но что все это значит для вашей программы экспериментов? Есть несколько ключевых моментов, которые стоит повторить:
- эффекты взаимодействия могут проявляться всякий раз, когда пользователи подвергаются воздействию нескольких переменных;
- планирование эффектов взаимодействия (либо путем запуска MVT и отключения плохих комбинаций, либо путем запуска взаимоисключающих экспериментов) — это хорошая идея;
- обнаружение положительных эффектов взаимодействия является основной целью для запуска MVT.
А/Б- и многовариантные тесты позволяют задавать правильные вопросы о конкретных изменениях на вашем лендинге, в вашем приложении или любом другом источнике контента, который вы хотите улучшить. Но что еще более важно, они предоставляют вашим пользователям возможность ответить самим.
Какой бы способ вы ни выбрали, провести тестирование лендингов на платформе LPgenerator очень просто — вам нужно создать копию/копии уже существующей посадочной страницы («Копировать вариант»), указать соотношение распределения трафика («Вес») на каждую из версий, внести изменения и наблюдать за реакцией посетителей:
По прошествии определенного срока после запуска теста, проанализируйте данные и выберите, какой из вариантов приносит лучший результат.
Высоких вам конверсий!
По материалам: blog.optimizely.com Источник картинки: Eleonora Albasi
