Ян Райт (Yuan Wright) — главный аналитик компании Electronic Arts. На конференции ConversionXL Live 2015 она посвятила выступление сплит-тестам, поделилась своим опытом и дала рекомендации, которые будут полезны новичкам и профи.
Представляем вам перевод ее выступления. Далее — слово спикеру.
О сплит-тестах
Тестирование можно сравнить с захватывающим путешествием. Такая аналогия у меня возникла, потому что сплит-тесты включают в себя множество составляющих: научные знания, логика, аналитика, творчество, общение с людьми, опосредованное взаимодействие с клиентом. Это очень разноплановый процесс, и поэтому столь интересный.
Тестировать — сложно, причем с каждым месяцем, годом, процесс становится все сложнее и сложнее. Как и любая технология, сплит-тесты не стоят на месте, постоянно развиваются методики, добавляются новые инструменты, возникают новые идеи.
Сегодня я бы хотела сосредоточиться на нескольких пунктах. Прежде всего расскажу вам о том, как правильно развивать сплит-тесты с нуля, а также хочу обсудить несколько других вопросов, которые беспокоят многих оптимизаторов.
О программе сплит-тестирования
Итак, говоря о сплит-тестировании, нужно знать три «кита», стоящих в основе. Я бы выделила следующие пункты развития тестов с нуля.
Необходимо иметь цель — оптимизатор обязательно должен видеть перед собой четкую цель тестов, понимать, для чего он проводит анализ. На основе поставленных целей разрабатываются стратегии для разных моделей бизнеса.
Мотивация — для маркетолога, который занимается тестированием, важно понимать, зачем он это делает. Нужно помнить, что нет только двух полярных сторон этого аналитического процесса: доказательство или опровержение теории. Суть в обучении, совершенствовании проекта и себя самого.
Масштабирование — нужно увеличивать объем сплит-тестов, не останавливаться на достигнутом. Подумайте, если вы тестируете три варианта, получаете только один правильный ответ. А если будете проверять 300 гипотез, то получите примерно 100 решений.
Теперь применительно к программе тестирования. Здесь также есть три главных составляющих: инструменты, аудитория, процесс. Начнем с инструментов. Здесь более-менее просто и понятно — от выбора правильных методик анализа зависит достижение поставленной цели.
Вторая часть — это наша аудитория. Люди, которые являются тестерами наших идей, иногда сами того не понимая. Ведь когда мы вносим изменения на лендинг, то должны увидеть отклик пользователей и поисковых систем. Без этого отклика дальше мы не двинемся, не узнаем, насколько реально действует наша программа.
И последняя составляющая — процесс. Я уже упоминала о том, что сплит-тестирование касается многих областей и участников процесса. Так вот, важно организовывать процесс правильно, разбираться, кто что делает, и когда. Такой подход позволяет структурировать программу тестинга и четко отслеживать результаты.
На ком ответственность?
Еще одна интересная тема, которую хотелось бы затронуть — какая организация должна проводить тестирование для достижения лучших результатов? Может ли это делать независимый аналитический центр, например? Или же такие полномочия должны быть только у аналитиков проектной команды?
Мое мнение — доверяйте сплит-тесты тем, кто умеет это делать. Если вы знаете, что в вашей команде работают действительно профессионалы, способные провести разностороннее тестирование, выдвинуть сотни гипотез, и грамотно проверить их, то работайте таким образом. Если же нет, лучше доверить это специализированному агентству, но тестирование в этом случае должно проводится под наблюдением уполномоченного от вас лица, который введет команду в курс дела.
Приоритеты и временные рамки
Теперь я хочу поговорить о приоритетах в сплит-тестах. Точнее, об умении отделять главное от второстепенного. Так как я занимаюсь этим достаточно долгое время, то знаю на своем опыте, как трудно отказаться от собственной идеи, даже если она объективно слаба.
Очень важно научиться так называемому frameworking, то есть ставить себе определенные рамки в работе над проектом. Гипотеза должна быть основана на чем-либо, а действовать по принципу «Давайте мы просто сделаем это» неправильно.
В этом же контексте полезно будет упомянуть о временных рамках сплит-теста. Нужно ставить четкие «до» и «после», проверять идеи в течение конкретного промежутка времени. Это особенно важно, когда вы масштабируете тестирование.
Психологические барьеры
Должна сказать, что это та тема, с которой я сталкиваюсь постоянно. Неверие в свои силы, неуверенность в правильности полученных результатов — все это свойственно и новичкам, и профессионалам. Я думаю, многие поймут, о чем я говорю.
Могу дать несколько советов на собственном опыте. Во-первых, постоянно практикуйтесь. Как говорится, глаза боятся — руки делают. Только регулярная практика позволит развить собственные умения, аналитические способности, интуицию, которая иногда очень важна в нашем деле.
Во-вторых, когда запускается новая идея, всегда есть фактор шока и фактор новизны. От этого никуда не деться, нужно принять такую психологию действий.
И третье — устанавливайте для себя критерии успеха. Каждый проект индивидуален, для одного подходит даже 2% вероятности успешного воплощения идеи, для второго и 10% мало. Здесь опять же работает frameworking и постановка конкретной цели. Если вы четко определите, чего ждете от сплит-теста, то неуверенности в значимости полученного результата не будет.
Масштабируемость
Хотелось бы сказать еще несколько слов о масштабируемости сплит-тестов. Ранее я упомянула, что действительно важно запускать как можно больше гипотез, чтобы получить больше результатов. Как же нужно масштабировать?
Используйте технологию, доступную для вас. Хорошо действует методика разделения метрик по значимости. Например, вы можете сделать крупное, стратегически правильное изменение, а можете внести незначительные правки в цвет, шрифт, лид-форму или даже просто сместить колонтитулы.
Эти маленькие коррективы влекут за собой большие победы, поэтому начинайте с них. Таким образом, вы можете запустить расширенный сплит-анализ крупных и небольших тестов.
По материалам: conversionxl.comImage Source: conversion.lt
