Представьте, что вам в голову пришла идея нового товара или новой функции (компонента) уже имеющегося продукта. Идея кажется замечательной, но прежде чем вы потратите десятки часов и несколько тысяч долларов на ее реализацию, вам необходимо ее оценить и проверить. Другими словами, вы должны убедиться, что аудитория будет в таком же восторге от вашего замысла, как и вы.
Возникает вопрос: как проверить идею продукта, не затрачивая при этом слишком много времени и ресурсов? Ответ прост: с помощью смоук-теста.
Что такое смоук-тест?
Сам термин «смоук-тест» был в недавнем времени позаимствован из области компьютерного программирования, где он обозначает минимальный набор тестов, главная цель которых — выяснить, корректно ли исполняются основные функции программы или приложения, нет ли каких-либо явных ошибок, наличие которых мешает более глубоким тестам.
Используя это определение, можно сказать, что смоук-тестирование дает ответы на такие вопросы:
- запускается ли программа?
- открывается ли пользовательский интерфейс?
- выполняются ли основные функции?
Иными словами, все ли работает так, как планировалось? Такие тесты, как правило, не занимают много времени, но при этом проводятся на протяжении всего процесса разработки программного обеспечения.
В мире маркетинга смоук-тест имеет аналогичный смысл, однако вместо того чтобы фокусироваться на том, все ли компоненты системы работают правильно (как это делают программисты), маркетологи хотят знать, принесет ли им грядущий продукт прибыль?
Тревор Лорбир (Trevor Lohrbeer) из консалтингового агентства Teikametrics & Lab Escape определяет данный метод, как «способ тестирования восприятия товара рынком до создания самого продукта».
Вы можете вложить колоссальные средства в разработку и производство продукта, не зная, будет ли он продаваться или принесет убытки вашей компании. Смоук-тест способен помочь вам найти ответ на этот вопрос.
Доминик Кориелл (Dominic Coryell) из GIMME GROWTH поясняет:
«С помощью смоук-теста вы сможете довольно быстро сформировать дорожную карту вашего продукта. То, что мы пытаемся сделать — доказать, что список нереализованных требований к продукту (product backlog) — это потенциал его роста. Ключевые действия: проверить, узнать, повторить».
Зачем маркетологам смоук-тесты?
Рассмотрим две ситуации.
1. У вас есть новая бизнес-идея, которая кажется довольно перспективной, и вы хотите ее развить.
2. У вас есть идея нового свойства, характеристики товара, и вы также возлагаете на нее большие надежды и планируете реализовать.
В обоих случаях вам придется затратить кучу времени и денег. Вам также, вероятно, потребуется помощь. Вы будете искать соучредителя или наймете команду разработчиков.
Но что, если эта идея после нескольких месяцев разработки и тысяч долларов вложений не оправдает себя? Занавес.
Маркетологи используют тесты, чтобы избежать развития именно такого сценария. Дэн Мартелл (Dan Martell), основатель пяти компаний, который в настоящее время помогает другим предпринимателям развивать свои высокотехнологичные продукты, объясняет:
«Люди бывают сильно воодушевлены появившейся у них идеей и бросают все силы на разработку и создание продукта, только чтобы через 6 месяцев понять, что он никому не нужен и их энтузиазма никто не разделяет. Перед запуском вам необходимо пройти 4 этапа:
1. Идея: проблема, боль, страсть.
2. Валидационные исследования.
3. Кликабельный прототип.
4. Предпродажи.
Я использовал этот подход для построения всех моих кампаний — и не важно, было ли это потребительским приложением или решением для брендов из Fortune 500 — он должен быть соблюден в любом случае».
Четыре этапа Дэна можно представить в виде следующих действий:
1. Как выбрать правильную идею? Выберите проблему, с которой вы сталкивались на личном опыте, выберите продукт, который обязателен к покупке (а не тот, который просто «было бы неплохо иметь»), выберите что-то, чем вы по-настоящему увлечены.
2. Найдите клиентов, пользующихся продуктом вашего конкурента, и проведите валидационное испытание. Ваши друзья скажут вам, что ваша идея отличная, но лучше остановиться на тех людях, которые уже платят за аналогичный продукт.
3. Разработайте 3 ключевых признака идеи, но не всего продукта. Что можно создать в течение 6-недельного спринта?
4. Найдите людей, которые оформят предзаказ. Они помогут вам довести разработку до конца.
Этот процесс обязателен и применим не только к стартапам или начинающим предпринимателям. Он должен быть взят на вооружение и в крупных компаниях, которые также время от времени выпускают на рынок новые продукты и нуждаются в предварительном тестировании новых бизнес-идей, функций и т. д.
Гибкое мышление — вот что по-настоящему важно.
Вышесказанное предполагает, что концепция минимально жизнеспособного продукта (MVP) уже неактуальна. Если вы маркетолог, который заинтересован в быстрых экспериментах и росте эффективности, вы в правильном месте.
Вот как это объясняет команда разработчиков Spotify:
Как создать минимально жизнеспособный продукт? Вариант сверху — ошибочен, вариант снизу — верен
Самое распространенное возражение смоук-тесту заключается в том, что, якобы, клиенты будут расстроены недоступностью полного функционала. А ведь совершенно неразумно не оправдывать клиентских ожиданий, верно?
Эрик Рис (Eric Ries), CEO в Long-Term Stock Exchange и автор «Бережливого стартапа» (Lean Startup), объясняет, почему это не имеет отношения к гибким командам:
«Если вы обеспокоены тем, что разочаруете некоторых своих клиентов — не стоит. Как правило, во время проведения экспериментов коэффициент конверсии равен нулю. Это означает, что проведением испытаний никого из ваших потенциальных покупателей вы не расстроите.
И если все же вам удастся привлечь небольшую группу людей, вы всегда можете принести им персональные извинения. Если таких людей будет сотни и тысячи — тут впору радоваться, а не горевать. Будем надеяться, что некоторые из них простят вам эту маленькую хитрость».
Пример: Pijon Box
Рассмотрим кейс компании Pijon Box, которая предоставляет пакеты услуг в области здравоохранения для родителей студентов. Руководство сервиса хотело провести тест функции «Add to Box», которая позволяла клиентам добавлять больше продуктов в их пакеты услуг.
Вот сколько времени заняла бы разработка этой функции:
Планирование новой функции — 1 неделя. Разработка новой функции — две недели. Тест и запуск новой функции — 1 неделя
Конечно, если бы разработчики Pijon Box пошли этим маршрутом, они потратили бы месяц на разработку и не уложились в срок до конца апреля.
Поэтому они опробовали смоук-тест:
Планирование: от идеи до метода тестирования — 1 час. Запуск — в этот же день. Генерация прибыли
Они выяснили, какие продукты могли бы дополнить опыт покупателей, поместили информацию о них в электронном письме и разослали его своим клиентам. Если клиент кликал по ссылке, разработчики вручную отвечали ему и уведомляли соответствующих менеджеров.
Каков результат? 9,55% перешли по ссылке в письме и приняли предложение. Ежемесячная валовая прибыль выросла на 45%, предельная валовая прибыль компании повысилась на 357%.
Не так уж плохо для одного дня работы. Идея была подтверждена — теперь компания, не опасаясь пустой траты ресурсов, реализует ее в полном объеме.
Пример: Flowtown
Рассмотрим еще один пример от компании Flowtown. По словам Дэна, который принимал участие в проведении смоук-тестов, компания является образцом минимального экономичного жизнеспособного предложения (MEVO):
«Сначала создайте MEVO.
Можно сказать так: «Я собираюсь разработать оффер, по-настоящему ценное предложение с минимальным числом функций, достаточных для того, чтобы кто-то решил приобрести этот продукт. Затем я создам посадочную страницу и приложу все усилия, чтобы убедить подписаться всех посетителей, даже если продукт все еще будет на стадии разработки».
Именно такой подход я исповедую в своей компании, Flowtown. Даже если у меня не будет продукта, а люди вдруг зарегистрируются, я просто скажу им: «Эй, мы еще в самом начале. Мы будем продвигаться вперед постепенно, но с вашей кредитки не будет снято ни одного доллара. Когда мы будем готовы, мы дадим вам знать».
Это и есть самая настоящая валидация».
Вот как выглядел Flowtown в феврале 2009 года:
Все верно, это обслуживающая компания. После трех месяцев работы с 15+ клиентами они решили использовать все отзывы, которые им удалось собрать, во благо улучшения продукта.
Что привело к…
В итоге за три месяца они смогли привлечь только одного клиента. Тогда они начали проводить множество смоук-тестов:
Наконец, они прибыли сюда:
В самый первый день у них сразу появился первый клиент. Затем наступила эпоха роста.
Два года спустя они были приобретены Demandforce.
Важно рассмотреть вопрос о передаче средств при проверке идеи продукта или его компонентов. Много людей скажут вам, что идея отличная: «Да, конечно, я бы использовал этот продукт». Но они действительно потратили бы на это свои деньги? Даже что-то стоимостью в $5 или $9.99 в месяц может требовать дополнительной валидации.
Что следует тестировать в первую очередь?
Предположим, что с вами случился один из двух сценариев:
1. У вас есть дюжина бизнес-идей, которые вы бы хотели протестировать.
2. У вас есть масса идей нового функционала для имеющегося продукта, которые вы были бы также не прочь протестировать.
Как решить, что следует подвергнуть проверке в первую очередь?
Дерек Сиверс (Derek Sivers), американский предприниматель, предлагает подвергнуть смоук-тесту сначала самое рискованное предложение.
Также первыми в списке могут идти:
1. Идеи сильного воздействия. Если вы устанавливаете приоритетность планируемых экспериментов, вы, вероятно, уже знаете, каких результатов можно ждать от каждого испытания в случае его положительного исхода. Первыми должны идти те, эффект от которых будет наиболее весомым.
2. Идеи, которые откладывались слишком долго. Проведите смоук-тест и, наконец, отпустите их.
6-ступенчатое смоук-тестирование
В своей презентации Доминик поведал о 6 этапах смоук-тестирования, которые используются многими разработчиками и повсеместно считаются наиболее исчерпывающими.
Шаг 1: Определите необходимые доказательства
Как и большинство других тестов, смоук-тестирование начинается с формулировки гипотезы. Если я делаю X, я ожидаю, что произойдет Y.
Например:
- если мы улучшаем ежемесячную валовую прибыль на X% с помощью электронного письма с предложением добавить в свой пакет дополнительную услугу, то мы делаем вывод, что вкладывать средства в автоматизацию этой функции целесообразно;
- если мы получаем информацию от более чем X % посетителей лендинга в первые X недель, мы начинаем разрабатывать реальный продукт;
- если мы сумеем заработать на предзаказах $X, мы начинаем разрабатывать реальный продукт.
Шаг 2: Разработка эксперимента без привлечения инженеров
Смысл проведения смоук-теста в том, чтобы ограничить объем времени и денег, вложенных в продукт до его валидации. Поэтому смоук-тест должен быть проведен без помощи программистов и разработчиков.
К примеру:
- вы можете обратиться к программистам, чтобы они автоматизировали процесс выставления счетов клиентам и отправления уведомлений складам, или все сделать вручную;
- вы можете разработать лендинг, чтобы получить индекс клиента и его адрес, который будет использован в период запуска продукта, или создать продукт целиком с нуля.
Шаг 3: Обеспечьте трафик, необходимый для проведения эксперимента
Как только вы подготовите смоук-тест к запуску, первое, что вам понадобится — это трафик, и этот трафик должен быть правильным.
Вот как определяет правильность собранной аудитории Доминик:
«Я не знаю лучшего способа поиска правильной аудитории для теста, кроме наблюдения за тем, кто делится моим предложением в социальных сетях, потому как если люди делятся этой информацией со своими друзьями, значит, они верят в идею, верят в вас.
Это помогает направлять аудиторию, которую вы создаете. Так, на Facebook, если люди не рассказывают о вашем предложении на своих страницах после перехода на него по платному объявлению, то, вероятно, это не ваша аудитория, тогда как люди, пришедшие с поисковой рекламы, наверняка мотивированы сильнее.
Это помогает понять, куда вкладывать свои средства, в какой канал».
Во время поиска трафика для проведения смоук-тестов Эрик Рис обращается к помощи AdWords:
«Если вы хотите запустить какой-либо онлайн-сервис, а проводить поддельные кампании в AdWords для его проверки не стали, вы просто сошли с ума. Это тот вывод, к которому я пришел после просмотра массы онлайн-продуктов, так и не сумевших привлечь покупателей.
Просто убедитесь, что выбрали максимальный дневной бюджет, который позволит вам запустить кампанию сразу на несколько недель. Я бы нацеливался на цифру, не превышающую 100 кликов в день — и в течение недели или, может быть, двух, вы соберете неплохую статистику.
Вам следует обратить пристальное внимание на следующие данные: процент покупателей, прошедших весь путь от посадочной страницы до завершения регистрации, кликабельность объявлений по разным ключевым словам и показатель отказов для целевой страницы по разным ключевым запросам».
Если вы тестируете какую-то новую функцию продукта, то, вероятно, у вас уже есть сформировавшийся пул пользователей, и вам потребуется просто задействовать их в своем тесте. Возможно, вы захотите рассмотреть вопрос об использовании сегментации. Например, можете направить на тест только активных пользователей вашего сервиса.
Какой бы маршрут вы ни выбрали, главное быть уверенным в двух вещах:
1. Вы обратились к правильной аудитории. Самый лучший в мире продукт с треском провалится, если будет предложен не тем людям.
2. Вы сгенерировали достаточно трафика, чтобы сделать правильный выбор. Если вы достаточно крупная компания, чтобы проводить сплит-тесты, используйте калькулятор для расчета размера выборки. Если вы небольшая компания, то нацеливайтесь на получение 100 кликов в день на протяжении двух недель, как советует Эрик Рис.
Шаг 4: Определите ключевые показатели и измерьте их
Этот шаг достаточно очевиден, но потрудитесь заранее проверить, что вы отслеживаете все ключевые показатели. Вы должны знать, откуда приходят люди, как они ведут себя на каждом этапе воронки продаж, какие устройства они используют и т. д.
Выберите те показатели, которые релевантны доказательствам, установленным на первом шаге.
Шаг 5: Анализ результатов и проведение повторных тестов, оптимизация
Если вы попали в список тех, кому посчастливилось тестировать идею с нуля, у вас, вероятно, нет трафика (и вы не можете позволить себе этот трафик), чтобы сделать ваш тест статистически значимым.
Но это не значит, что вы не можете запустить смоук-тестирование. Это просто означает, что ваш тест не будет идеальным и наверняка будут допущены ошибки, так что результаты окажутся не самыми достоверными. (Думайте о нем, как о некой форме эвристического анализа, например).
Даже если вы можете получить статистически значимый результат, всегда существует вероятность, что результат будет недостоверным.
Здесь-то и вступают в игру A/B-тестирование и неформальные итерации. Эрик объясняет свой итерационный процесс:
«Используйте Google Optimizer, чтобы попробовать в деле разные посадочные страницы (даже радикально отличающиеся друг от друга) и определить, оказывают ли разные способы представления вашего продукта влияние на коэффициент конверсии.
Если вам удается получить тот показатель конверсии, который вы намеревались достигнуть, попробуйте попросить клиента произвести оплату.
Если это сведет конверсию к нулю, это вовсе не значит, что у вас нет бизнеса. Дело в том, что продукты, которые по-настоящему решают какую-либо серьезную проблему, обычно могут найти некоторое количество дальновидных покупателей, которые оформят предзаказ только на основе того видения, которое вы продаете.
Если вы не сможете найти вообще никого, вполне возможно, что вы все еще не определились с тем, кем является ваш покупатель».
Пример: Suprizr
Suprizr — это сервис, смысл которого в доставке блюд, приготовленных на основе ваших предпочтений. Вот как выглядела посадочная страница до проведения тестов:
Процент полученных электронных адресов был ниже 3%. Это тот самый момент, где важность проведения тестов становится очевидной. Низкий уровень конверсии может быть свидетельством того, что сама идея далека от совершенства и не востребована аудиторией.
Но вместо того, чтобы отказаться от этой идеи вовсе, Suprizr изменили свой подход, запросив сначала только индекс клиента:
Как только посетитель вводил свой индекс, он видел сообщение, в котором Suprizr приносила извинения за то, что сервис еще не начал обслуживать их район, но вот-вот начнет, и если человек хочет получить уведомление о запуске, он должен оставить адрес электронной почты для связи:
Какой результат? 30% посетителей ввели свой индекс, 25% оставили электронную почту, а 10% поделились информацией о сайте.
Бывает, что провести смоук-тест так, как вы планировали, с первой попытки не получается. Продолжайте итерации до полного отказа от идеи.
Шаг 6: примите решение
Некоторые из вас могут быть в состоянии позволить себе статистически значимый набор данных, некоторые — нет. Независимо от вашей ситуации, в конце концов вам придется принять судьбоносное решение.
Было бы неплохо установить конкретные сроки для пятого шага, поскольку анализ и итерации могут продолжаться бесконечно, а результаты смоук-теста должны быть получены как можно раньше.
Работайте с данными, которые у вас на руках, примите решение и двигайтесь дальше.
Заключение
Как и при проведении регулярных сплит-тестов, смоук-тесты приведут вас к положительным итогам, даже если ваш продукт вдруг окажется никому не нужным.
«Даже если ваша идея провалится, вы все равно в числе победителей. Ведь вы не будете чувствовать себя командой, потратившей зря столько времени и ресурсов. К тому же, иначе вы бы не узнали больше о своих покупателях» — утверждает Доминик.
На какие вопросы еще можно получить ответ:
- почему эта идея провалилась?
- это ошибка исполнения?
- были итерации, которые работали лучше других?
Смоук-тест как инструмент валидации бизнес-идей обязателен для использования не только предпринимателями и стартаперами, но и крупными компаниями, когда они намереваются вывести на рынок новый продукт. Не упустите из внимания и тот аспект, что этот вид теста поможет вам не только сэкономить время и деньги, но и гораздо быстрее выявить удачную бизнес-идею.
Высоких вам конверсий!
По материалам conversionxl.com Image source Javier Pérez
