«Никогда не останавливайте тестирование, и ваша кампания никогда не прекратит улучшаться»
— Дэвид Огилви
Когда вы отправляете ваше первое сообщение на OkCupid потенциальному возлюбленному, сколько вариантов дальнейшего развития событий вы предполагаете? А как вы собираетесь тестировать, какой из них лучше?
К счастью, онлайн-знакомства и маркетинг — довольно далекие друг от друга вещи (по крайней мере пока). Сплит-тестирование, также известное как A/Б-тестирование, стало популярным инструментом маркетологов с середины 20-го века. В свою очередь мультивариантное тестирование (multivariate testing) — более современный и совершенный способ тестирования. Теоретически не существует верхнего предела количества комбинаций, которые могут быть протестированы, что создает очень мощную альтернативу традиционному сплит-тесту.
Но большая часть компаний, особенно SMB, запускающих свой первый ресурс, часто испытывают сложности с этими инструментами. Они очень заинтересованы в них, но не видят разницы между двумя типами тестирования и задаются следующими вопросами:
- Сколько это стоит?
- Как много времени это займет?
- Что нам надо будет делать?
- Сможем ли мы доверять результатам?
В этой статье мы предлагаем вам изучить 3 отличия сплит- и мультивариантного тестирования, а также ответить на четыре вышеуказанных вопроса.
1. Уровень трафика
Предположим, вы производите мыло из козьего молока и продаете его по 5 $ за кусок. На вашем сайте, в самый удачный день, бывает до 300 посетителей. В среднем, около 150 ежедневно. Таким образом, вы привлекаете приблизительно 1050 потенциальных покупателей в неделю. Неплохо.
Но вы стремитесь открыть реальный магазин и хотите, чтобы ваша конверсия увеличилась. Поэтому вы организуете A/B/C тест (в таком случае тестируется три варианта страницы) для вашего лендинга. В первом варианте у вас картинка с изображением куска мыла на синем фоне, в другом — коза на зеленом фоне, в третьем — вы и ваша семья на белом фоне. Текст соответствует изображению.
A/B/C тестирование идет в течении недели, и ваше общее количество посетителей за этот период разделяется на три группы по трем вариантам:
В итоге, по прошествии недели вы насчитали ровно по 350 посещений на каждой странице (и некоторый уникальный показатель конверсии). В данном случае, «победитель» получил всего треть от вашего обычного трафика, что теоретически означает потерю 2/3 вашего трафика (людей, направленных на «проигравшие» версии).
Теперь представим себе другой сценарий. Вместо трех вариантов вы хотите попробовать комбинацию из четырех элементов на каждой странице, чтобы увидеть как они дополняют друг друга. А это уже 24 варианта… а 1050/24 — очень маленькое число.
Вывод: При низком трафике сплит-тестирование работает лучше, потому что мультивариантность требует большого количества посещений для получения видимых результатов.
2. Общий дизайн против отдельных элементов
Сегодня очень популярно неправильное представление о том, что сплит-тесты содержат всего два варианта, или что мультивариантные тесты являются сплит-тестами с более, чем двумя вариантами. Это не так. Например, A/B/C/D тест — это все еще сплит-тест, а не мультивариантный тест.
Что приводит к закономерному вопросу: для чего нужны те и другие?
Сплит-тесты полезны, когда решается конкурирующий дизайн одной и той же страницы. Например, в примере с производителем мыла владелец лендинга использовал A/B/C-тест, чтобы выбрать одни из трех вариантов, каждый из которых отличался от других и был уникальным.
В мультивариантном же тесте сравниваются отдельные элементы или комбинации элементов, а не целая страница — дизайн лендинга сам по себе неизменен. Это более комплексный и аналитический метод тестирования, который может окончательно разделить по полезности некоторые элементы страницы.
В идеальном мире.
В реальности, мультивариантное тестирование сложнее в исполнении, так как предполагает намного более глубокий анализ, чем сплит-тестирование. Также оно требует существенно большего трафика, просто чтобы работать, и больше отдачи от пользователя.
Бессмысленные комбинации, которые будут вредить бизнесу, должны быть откинуты, а результаты интерпретированы профессиональным аналитиком. Невнимательная оценка результатов может привести к созданию ложных позитивных прогнозов.
Вывод: мультивариантное тестирование труднее провести и проанализировать, чем сплит-тестирование. Потому что в таком случае получается больше вариантов и выше риск.
3. Временные затраты
Третьим ключевым различием является время, требуемое для получения видимых результатов для каждого тестирования.
Снова воспользуемся примером производителя мыла. Если он проводит сплит-тестирование лендинга с 1000 посетителями в неделю, ему понадобится всего 2 недели, чтобы получить существенное и пригодное для оценки количество посещений на каждый вариант страницы (по 1000 на каждый). Если он воспользуется A/B/C/D-тестированием, потребуется четыре недели для того чтобы набрать такой же трафик для каждого варианта.
С другой стороны, если бы он принял решение провести мультивариантное тестирование для четырех элементов на странице (в сумме 24 варианта), ему потребуется 24 недели, или примерно 6 месяцев, чтобы получить 1000 посетителей на каждый вариант.
К тому времени, общие потери бизнеса из-за перенаправления пользователей на плохие сайты могут привести к развалу компании (только 1/24 часть посетителей будут посещать «выигрышный» сайт).
Вывод: В идеальном мире, мультивариантное тестирование лучше сплит-тестирования. Но в реальности последний вариант даст вам то, что нужно — дешевизну и скорость.
Высоких вам конверсий!
По материалам: marketingprofs.comimage source burtgummer
