Представьте ситуацию: вы в казино с большим количеством игровых автоматов, у каждого из которых есть пусковой рычаг, или рука (по этой же причине их прозвали «однорукими бандитами» — за постоянное обыгрывание клиентов).
Вы догадываетесь, что некоторые автоматы успешнее остальных (выдают выигрыш чаще других), однако количество попыток ограничено — нажав один рычаг, вы упускаете другой. Естественно, цель любого игрока — выйти из казино с максимальным выигрышем. Вопрос: как найти лучший игровой автомат в кратчайший срок?
Если бы игрок знал, какой автомат даст больше денег, он бы играл в него целый день. Относительно оптимизации конверсии теория работает схожим образом. Эндрю Андерсон (Andrew Anderson) в одной из статей в блоге Adobe объяснил работу бандитского алгоритма так:
«В идеальной ситуации вы бы уже знали все возможные комбинации и предугадали бы результаты любого действия, а затем могли бы применить все свои ресурсы для выполнения одного наиболее перспективного шага с наибольшей прибылью. К сожалению, мы живем в обычном мире и не умеем видеть будущее, но пытаемся всеми силами его предсказать».
Хотя «бандитская методика» подвергается критике, существуют кейсы, в которых именно данный алгоритм дает наилучший результат. В каких случаях стоит использовать бандитский алгоритм, а когда — сплит-тестирование?
Основные методы тестирования Landing Pages
Практическая разница между сплит-тестированием и бандитским алгоритмом
А/В тест, или сплит-тестирование — наиболее часто применимый метод оптимизации конверсии, который проводится стандартно:
Трафик распределяется между версиями веб-страницы следующим образом: 50% трафика направляется на контрольную версию сайта, а 50% — на тестируемую. Это продолжается до тех пор, пока тест не соберет достаточно данных для решения, какая версия эффективнее.
Теоретически, сплит-тестирование состоит из короткого периода чистого исследования, когда трафик рандомно распределяется между версиями А и В. Затем тест переходит в стадию длительного эксперимента, когда 100% трафика направляется на более эффективную по результатам исследования версию.
В применении этого метода выделяют две проблемы:
1. Тестирование резко переходит от исследования к практическим действиям, тогда как более плавный переход был бы рациональнее.
2. На этапе исследования бесцельно тратятся ресурсы на тест худших вариантов, чтобы собрать максимум данных.
Разница между «бандитским алгоритмом» и А/В/n тестированием заключается в том, как эксперимент распределяется между теоретической (получением достаточных результатов для принятия решения) и практической частью (перераспределением трафика).
Сплит-тестирование сначала исследует, а потом перераспределяет трафик, задействуя только эффективную страницу сайта:
Принцип «Сначала изучение»: последовательность этапов тестирования (исследования и практического применения данных) во времени
«Бандитский алгоритм» решает дилемму распределения ресурсов между изучением и практическим распределением трафика другим путем. Вместо двух отдельных периодов чистого исследования и применения полученных результатов на практике «бандитское тестирование» адаптивно, позволяя одновременно исследовать и распределять трафик динамично, на основании полученных данных:
Как проходят этапы тестирования и применения полученных данных в сплит-тестировании и «бандитском алгоритме»
Таким образом, бандитское тестирование минимизирует расходы и разницу между тем, что вы действительно получаете и что могли бы получить, если бы выбрали лучший вариант на каждом этапе. Мэтт Гершофф (Matt Gershoff) из Conductrics опубликовал масштабный пост в блоге, посвященный методике:
«Многие называют эту методику «зарабатывай, пока изучаешь», так как в ходе теста вам придется изучать, чтобы определить, что работает, а что нет, и оптимизировать прибыль. Вы получаете преимущество от изученного. Что мне особенно нравится в бандитском методе — это сбор данных, имеющих собственную ценность, с точки зрения потерянных возможностей».
Крис Стуккьо (Chris Stucchio) из VWO предлагает следующее определение алгоритма:
«Каждый раз сталкиваясь с проблемой изучения и применения данных на практике для оптимизации конверсии, вы имеете дело с феноменом многоруких бандитов (теорией вероятностей). Любой способ решения проблемы сводится к «бандитскому алгоритму» — включая А/В тестирование. Цель алгоритма — исключить направление трафика на нерезультативную версию. Фактически, любой бандитский метод, о котором вы можете прочитать в интернете (исключениям являются противоборствующие алгоритмы, диффузные алгоритмы и скачкообразные алгоритмы), делает некоторые математические предположения:
1. Уровни конверсии не изменяются во времени
2. Показ варианта и регистрация конверсии происходят одномоментно. Это означает, что следующая ситуация невозможна: в 12:00 посетитель А видит версию 1. В 12:01 посетитель В видит версию 2. В 12:02 посетитель А конвертируется.
3. Варианты, тестируемые бандитским методом, независимы друг от друга.
Хотя метод А/В-тестирования предлагает весьма надежный алгоритм, часто эти предположения нарушаются. Сплит-тест не фокусируется на изменениях уровня конверсии в тестовый период — к примеру, если результаты тестирования понедельников и воскресений одинаковы, то следует убедиться, что в ходе тестирования было одинаковое количество понедельников и воскресений. Точно так же, следует убедиться, что тестовый период достаточно длинный, чтобы зарегистрировать изменения уровня конверсии».
По сути, вопрос не в том, какой метод тестирования выбрать — «бандита» или сплит-тесты, потому как это абсолютно разные методы, служащие разным целям.
Мультивариантное тестирование Vs сплит-тесты: что лучше?
Преимущества «бандитского» тестирования
Далее мы постараемся определить, когда лучше применять «бандитское» тестирование и каковы его преимущества?
График отражает взаимосвязь бюджета и уровня потери конверсии во времени в ходе проведения «бандитского» тестирования
Google эксперименты с контентом используют бандитский алгоритм, мотивируя свой выбор его многочисленными преимуществами:
«Бандитский алгоритм более эффективный, так как направляет трафик на лучшую версию планомерно, не принуждая вас ждать, пока определится та самая лучшая версия до конца эксперимента. Бандитский алгоритм быстрее, так как трафик, который мог бы быть направлен на худшие версии, может направляться сразу на более эффективные варианты, а дополнительные данные, собранные с них, помогут отличить просто хорошие рычаги от лучших гораздо быстрее».
Мэтт Гершофф (Matt Gershoff) выделяет 3 причины, почему стоит отдать предпочтение «бандитской» методике:
1. Зарабатывайте, пока изучаете. Сбор данных — это затраты, а бандитский алгоритм позволяет вам минимизировать эти затраты в ходе оптимизации.
2. Автоматизация. «Бандитский алгоритм» — это естественный путь автоматизации оптимизации с применением машинного обучения, особенно с учетом потребностей пользователя (А/В-тестирование в этой ситуации весьма затруднительно).
3. Контроль ситуации. Разрешая алгоритму иногда выбирать менее удачные опции, вы даете ему возможность пересмотреть их эффективность. Это позволяет создать работающий инструмент, непрерывно определяющий наиболее эффективные варианты и заменяющий малоэффективные новыми.
Таким образом, «бандитский алгоритм» может быть рекомендован в силу плавного перехода от изучению к практическому применению, скорости и возможной автоматизации.
10 ошибок сплит-тестирования, которые дорого вам обойдутся
Разновидности методологии «бандитского алгоритма»
Множество обсуждений касаемо «бандитского тестирования» упускают из виду главные особенности алгоритма.
Рассмотрим простейший и наиболее доступный метод — «эпсилон-жадный алгоритм» (epsilon-greedy algorithm). Действие данного алгоритма показывает в общих чертах, как работают «бандитские алгоритмы».
Эпсилон-жадный алгоритм
Эпсилон-жадный метод (Epsilon-Greedy Method) доказал эффективность на практических примерах. Основные параметры эксперимента, подлежащие отслеживанию — количество нажатий рычага и приносимая автоматом прибыль. В 10% случаев рычаг выбирается рандомно, в остальных 90% случаев нажимается рычаг с наибольшей прогнозируемой выгодой.
Что в этой комбинации означает слово «жадный»? Жадный алгоритм — это алгоритм, всегда выбирающий наилучшее на данный конкретный момент времени действие. Так, эпсилон-жадный алгоритм оказывается в большинстве случаев обычным жадным алгоритмом, каждый раз выбирая наиболее целесообразный в данный момент вариант.
Но время от времени эпсилон-жадный алгоритм отдает предпочтение другим доступным вариантам с целью изучения их эффективности:
Как эпсилон-жадный алгоритм направляет пользователя между тестируемыми версиями: 20% рандомный выбор (как А/Б-тестирование), 80% выбор текущего лучшего варианта («жадность»)
Изображение ниже иллюстрирует эпсилон-жадный алгоритм
:
Метод эпсилон-жадного алгоритма имеет определенные недостатки и достоинства. Среди преимуществ метода:
1. Легкость в применении
2. Высокая эффективность в большинстве случаев
3. Эффективность метода не зависит от сезонности
Из недостатков метода следует выделить:
1. Изменчивость стратегии
2. Открытый вопрос: стоит ли сокращать период изучения со временем?
Другие бандитские алгоритмы
Другие бандитские алгоритмы решают те же проблемы иными путями. Среди них:
1. Верхний доверительный предел
2. Метод выборки Томпсона
3. Байесовский бандитский алгоритм
Все эти методы пытаются найти идеальный баланс между длительностью периода изучения/сбора данных и практического применения полученных данных в эксперименте (выполнением действий, основываясь на актуальных данных о лучшем выборе).
«К сожалению, как и в случае дискуссии между приверженцами байесовского алгоритма и сторонниками частных теорий вероятностей, похоже, что это очередной вопрос, в котором научное сообщество зайдет в тупик. В компании Conductrics мы применяем и тестируем несколько разных бандитских алгоритмов. Мы хотим быть уверенными, что для чего бы не использовался бандитский алгоритм, он будет устойчивым к динамичным данным.
Это значит, что какой бы из методов мы не применили (алгоритм верхней доверительной границы, Томпсона или подход Больцмана), мы постоянно частично задействуем эпсилон-жадный алгоритм, чтобы убедиться, что система не слишком рано обращается к малоэффективным вариантам.
Выбирая рандомную подгруппу, мы также можем использовать полученные данные для проведения мета А/В-теста, который покажет клиенту подъем конверсии при использовании бандитского метода и таргетирования»,
— говорит Мэтт Гешофф.
Оптимизация конверсии: почему машины никогда не заменят маркетологов?
Когда использовать «бандитские алгоритмы»?
В ряде случаев «бандитские алгоритмы» дают отличный результат. Однако при наличии конкретного предмета исследования, в ходе которого необходимо узнать эффективность применяемой методики, и также имеется некоторая определенность относительно решения задачи, то стандартное А/В тестирование станет лучшим вариантом.
Мэтт Гершофф рекомендует применять «бандитский алгоритм», если вопрос стоит действительно в качественной оптимизации сайта, а не в простом понимании, какой вариант работает лучше.
Например, этот метод лучше срабатывает в краткосрочных циклах тестирования и — что парадоксально — при долгосрочном тестировании тоже.
Краткосрочные тесты
«Бандитские алгоритмы» подходят для краткосрочных тестов по понятным причинам — применение стандартного А/В-теста не оставило бы времени на практическое применение полученных данных. Они позволяют изменять ход тестирования на основании полученных результатов в режиме реального времени и быстрее направлять трафик на лучшую версию сайта. Рекомендуется всегда применять их в случаях с ограниченными временными ресурсами как на изучение, так и на практическое применение.
Вот конкретные ситуации, оптимально подходящие для краткосрочного тестирования.
1. Заголовки
Заголовки — лучший объект исследования для «бандитских алгоритмов». Зачем применять классический сплит-тест для заголовков, если к тому времени, когда вы узнаете, какой вариант лучше, актуальный момент для этого заголовка уже пройдет? Новости характеризуются коротким циклом жизни, а «бандитские алгоритмы» быстро определят, какой заголовок эффективнее.
Блоггер и специалист по данным в Wingify Крис Стуккьо (Chris Stucchio) приводит подробный пример.
Главный редактор газеты узнает об убийстве. Времени на размышления нет, журналист должен определить, какой из двух заголовков лучше: «Тело найдено у стриптиз бара» либо «Обезглавленное тело обнаружено у топлес-бара»:
Игра слов в заголовке об убийстве
Выбор очевиден, однако теперь это алгоритмический выбор, а не прихоть редакции.
2. Краткосрочные кампании и промо-акции
Аналогично заголовкам, вы многое потеряете, отдав предпочтение А/В-тестам, если ваша кампания рассчитана всего на одну неделю. Вам явно не захочется экспериментировать с половиной вашего трафика — пока вы получите достоверные результаты, кампания подойдет к концу, и не останется времени на использование успешных вариантов.
Это в особенно касается праздничных и сезонных акциях. Стефан Павлович (Stephen Pavlovich) из Conversion.com рекомендует бандитские алгоритмы для краткосрочных кампаний:
«Сплит-тестирование бесполезно для краткосрочных кампаний. Если вы проводите тесты на коммерческом сайте к Черной Пятнице, А/В-метод не совсем практичный — вы сможете получить ценные данные только к концу дня. Напротив, «бандитский» тест привлечет больше трафика на более эффективную версию — а это, в свою очередь, повысит прибыль».
Сплит-тест заголовков: преимущества и недостатки
Долгосрочное тестирование
Удивительно, но «бандитские» тесты также эффективны в долгосрочной перспективе и для постоянного тестирования. Как говорит Стефан Павлович:
«А/В-тестирование не подходит для долгосрочных тестов — в частности, в случаях, когда условия теста постоянно меняются. К примеру, чтобы определить оптимальный порядок демонстрации ТОП-5 статей на новостных сайтах, «бандитские алгоритмы» подойдут лучше всего. Следует только настроить алгоритм один раз. Компания Yahoo! опубликовала результаты подобного исследования по рекомендациям контента при помощи бандитского алгоритма еще в 2009 году».
Есть несколько примеров, оптимально подходящих для долгосрочных тестов.
1. Настроить и забыть (масштабная автоматизация)
Так как «бандитские алгоритмы» перенаправляют трафик на более эффективные версии, вы получаете решение с минимальными рисками для длительной оптимизации. Мэтт Гершофф объясняет это так:
«Бандитские алгоритмы» применяются для масштабной автоматизации. Скажем, вы хотите постоянно оптимизировать несколько опций, бандитские алгоритмы становятся инструментами для частичной автоматизации процесса с минимальными рисками, избавляя вас от дорогостоящих в реализации, но малоэффективных изменений».
Тон Весселинг, основатель компании Testing Agency, упоминает, что «бандиты» отлично подходят для тестирования страниц с высоким трафиком после исследования методом А/В-тестирования:
«Залейте в алгоритм несколько вариантов и запустите его. Предпочтительнее использовать контекстуальный «бандитский алгоритм». Известно, что не существует страницы, идеальной удовлетворяющей всех пользователей. Страницы создаются в соответствии с сегментами целевой аудитории. «Бандитский алгоритм» определит оптимальную версию для каждого сегмента целевой аудитории».
2. Таргетинг
Другой пример для долгосрочного применения «бандитского алгоритма» — таргетинг, оптимально подходящий для показа определенного контента и рекламных объявлений в пользовательских приложениях. Мэтт Гершофф поясняет:
«В действительности оптимизация в большей степени определяет проблему, чем ищет ее решение. Мы хотим узнать правила, обеспечивающие каждому человеку лучший пользовательский опыт. Эту проблему мы можем решить при помощи контекстуального «бандитского алгоритма». Он позволит избежать характерных ошибок, связанных с неоднородностью целевой аудитории. «Бандитский алгоритм» решает эту проблему, применяя полученные в ходе исследования правила таргетинга к общему сегменту пользователей, при этом продолжая искать другие правила для более специфичных пользователей».
Тон Весслинг (Ton Wesseling), основатель Testing Agency, также указал, чему можно научиться в ходе применения контекстуального бандитского алгоритма:
«Применение результатов сплит-теста в контекстуальном «бандитском алгоритме» для сегментов, данные о которых получены в ходе исследований, показывает, какой тип контента работает эффективнее с каждым сегментом целевой аудитории. Это ценные данные — вы можете их использовать для оптимизации пользовательского опыта. Это можно реализовать и после А/В-тестирования, но «бандитский алгоритм» даст результаты быстрее».
3. Оптимизация и атрибуция
Бандитский алгоритм применяется для одновременной оптимизации многих факторов. Коммуникация между «бандитами» в алгоритме гарантирует слаженную работу системы над различными частями глобальной проблемы и максимализацию результатов. Мэтт Гершофф приводит следующий пример:
«Вы можете рассматривать обучение методом проб и ошибок как многочисленных бандитов, передающих друг другу полученные данные в режиме реального времени и кооперирующихся для определения наилучших действий. К примеру, клиент разместил один «бандитский алгоритм» на домашнюю страницу сайта и другой — в систему автоматизированной телефонной связи. Основываясь на количестве продаж по телефонному каналу, бандиты передают друг другу данные, чтобы обеспечить слаженную работу над глобальной проблемой».
Экзистенциальное тестирование: 50% элементов вашего сайта бесполезны, но какие?
Потенциальные недостатки «бандитского тестирования»
Прежде чем приступить к «бандитскому тестированию», следует рассмотреть недостатки метода. Во-первых, многорукие бандиты сложны в реализации. Как говорит Шана Карп (Shana Carp) на Growthhackers.com:
«Многрукие бандиты» сложнее в техническом плане, если вы не являетесь экспертом в этом вопросе. Функциональные расходы сводятся к оплате труда трех инженеров — специалиста по анализу и обработке данных, толкового программиста, способного создать код на основании того, что говорит специалист по анализу данных, и одного разработчика. (Хотя функции последних двух может выполнять один и тот же человек вашей команды). Крайне сложно найти аналитика с отличным опытом в программировании»
Второй фактор — это период, за который вы получаете статистически значимые данные. Как подчеркивает Парас Чопра (Paras Chopra) из VWO: «Существует обратная связь между тем, как скоро вы добьетесь статистически значимых результатов, и среднестатистическим уровнем конверсии во время кампании».
Крис Стуккьо также разъяснил феномен, который он назвал проблемой субботы/вторника. Если провести тесты с двумя заголовками:
1. «Счастливый понедельник! Кликни, чтобы купить сейчас!»
2. «Какой прекрасный день! Кликни, чтобы купить сейчас!»,
запуск бандитского алгоритма в понедельник предположительно покажет следующие результаты:
- Понедельник: 1000 показов «Счастливый понедельник», 200 конверсий; 1000 показов «Прекрасный день», 100 конверсий.
- Вторник: 1900 показов «Счастливый понедельник», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
- Среда: 1900 показов «Счастливый понедельник»», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
- Четверг: 1900 показов «Счастливый понедельник», 100 конверсий; 100 показов «Прекрасный день», 10 конверсий.
Результаты показов «Счастливый понедельник» существенно снижаются с 20% в понедельник до 5% на протяжении оставшегося времени тестирования, что дает средний уровень конверсии 7,1%.
Низкий уровень конверсии варианта «Прекрасный день» объясняется тем, что бандитский алгоритм направлял большую часть трафика на «Счастливый понедельник». Потребуется много усилий, чтобы исправить и выровнять полученные результаты. (Важно! А/В-тесты сталкиваются с такой же проблемой при анализе динамичных данных. Именно поэтому необходимо тестировать на протяжении всего запланированного периода.)
Крис также отмечает, что «бандитские алгоритмы» неэффективны для тестирования больших объемов электронных сообщений:
«Одно очень важное замечание — массивы электронных сообщений не поддаются эффективному анализу бандитскими алгоритмами. Проблема с анализом email-сообщений в том, что конверсия может состояться через долгое время после показа сообщения. Вы можете рассылать тысячи сообщений, прежде чем увидите конверсию. Это опровергает предположение, лежащее в основе многих бандитских алгоритмов».
82% маркетологов не умеют тестировать. И вот почему
Заключение
В общем, оптимизация по итогам «бандитских тестов» может дать отличные результаты в сравнении с А/В-тестированием, но эта методика требует более организованного подхода. Вы управляете процессом принятия решений в системе. Система сильна настолько, насколько сильны ее слабейшие факторы, которые в данном случае определяют ввод данных в систему и делают невозможным управление процессом принятия решений.
Если ваша команда смогла совладать с этой проблемой, то это большое достижение. Но если вам не удастся справиться с организацией процесса, тогда «бандитское тестирование» создаст еще большие проблемы. Обе техники имеют место быть, а полагаться исключительно на одну из них означает существенно ограничить оптимизацию.
Задумываетесь о оптимизации конверсии лендинга? Ознакомьтесь с нашей технологией по увеличению бизнес-показателей >>>
Высоких вам конверсий!
По материалам: conversionxl.comimage source kojotisko
