Эта статья посвящена тому, как убедиться, что проводимое вами пользовательское тестирование — обязательный инструмент в арсенале каждого разработчика и оптимизатора конверсии — оправдывает свое предназначение на 100%.
Качественное исследование пользователей позволяет получить глубокое и содержательное понимание особенностей их поведения, привычек и т.д. К сожалению, проведение подобного рода исследований намного сложнее, чем это может показаться на первый взгляд. Вероятно, каждый, кто проводил такие эксперименты, сталкивался с тем, что:
- в ходе исследования участники не понимают, что от них требуется и что они должны сделать;
- формулировки ваших вопросов наталкивают участников на определенный ответ либо являются причиной искажения результатов;
- в течение эксперимента участники не успевают выполнить задачу за отведенное время;
- после проведения эксперимента больше времени отнимает анализ структуры эксперимента, а не его результатов.
Если с вами случалось нечто подобное, не пугайтесь. Вы не одиноки. Даже самые опытные исследователи время от времени совершают промашки.
К счастью, есть способ, который поможет вам избежать неудачного эксперимента: пилотное исследование.
Пилотное тестирование — это своего рода репетиция, позволяющая проверить исследовательский подход на небольшом количестве участников. Хотя пилотное тестирование и является дополнительным шагом, оно может сэкономить вам кучу времени и ресурсов, если вы вдруг обнаружите недочеты.
Поскольку корректное проектирование эксперимента является непременным условием его проведения, важно найти время на оценку, тестирование и доработку дизайна до его запуска. Поступая таким образом, вы можете гарантировать, что ваше исследование пользователей пройдет гладко, а вы получите от него максимальный эффект.
Самое интересное, что пилотное тестирование может быть применено для всех подходов.
Начните с процесса
Для любого подхода к исследованию, какой бы вы не выбрали, характерны следующие этапы:
1. Разработка определенного исследовательского подхода (методология, инструменты, профиль целевого участника).
2. Пилотное тестирование эксперимента.
3. Подбор квалифицированных участников исследования.
4. Проведение исследования.
5. Анализ результатов.
6. Формирование выводов по результатам исследования.
Этапы подготовки и проведения исследованияЛюбое исследование следует начинать с вопроса «Что мы намереваемся узнать?». Вы можете руководствоваться этим вопросом при разработке методологии исследования, выборе инструментов, определения профиля участников. Пилотное же тестирование позволит быстро проверить проект исследования и улучшить его.
Обычно пилотное тестирование состоит из двух этапов: 1) проработка структуры; 2) проведение тестирования.
В ходе первого этапа организаторы стараются рассмотреть каждый аспект планируемого эксперимента. Вот что подлежит анализу:
- цели высокого уровня или то, что исследователи стремятся узнать;
- инструменты, которые планируется использовать;
- задачи, которые будут выполнять участники;
- вопросы участникам;
- размер выборки;
- профиль участника.
Нередко много времени занимает обсуждение вопросов, которые будут заданы участникам эксперимента. Рассмотрению подлежит огромное число вариантов. Такое часто случается из-за страха упустить что-то важное, что потом не позволит сделать какой-либо важный вывод. Как итог: каждое из заинтересованных в результатах исследования подразделений старается задать участнику какой-то свой вопрос.
Однако надо сказать, что такой подход опасен. Это может привести к тому, что команда просто упустит из виду главную цель, ради которой, собственно, и проводилось исследование; а также получит такие данные, которые потом будет трудно интерпретировать, тем самым ограничив количество генерируемых практических выводов.
Чтобы избежать подобного, стоит обратить внимание на следующий подход на этапе подготовке вопросов:
Фаза 1: сначала группа исследователей составляет список потенциальных вопросов. Они затем будут более тщательно рассмотрены на этапе проработки структуры исследования. Цель состоит в том, чтобы создать небольшой пул вопросов, которые будут понятны, не будут наталкивать участника на тот или иной ответ, будут дополнять друг друга. В результате большая их часть из первоначального списка оказывается удалена, а то, что осталось — переработано.
Фаза 2: вторая часть заключается в проведении пилотного тестирования.
Эти исследования не отнимают много времени и проводятся многократно с привлечением одного или двух участников. Основываясь на ответах респондентов, оценивают эксперимент, вносят правки и повторно тестируют.
Исследователи повторяют этот процесс до тех пор, пока не будут обнаружены все ошибки.
Существуют различные критерии, которые можно использовать для тестирования, но рекомендуется придерживаться трех основных: ясность инструкций, задачи участника и вопросы к нему, время исследования:
- ясность инструкций: инструкции не должны вводить в заблуждение и вызывать недопонимание;
- тестирование заданий и вопросов: включает в себя тестирование рабочего процесса исследования;
- время исследования: отслеживается время выполнения каждой задачи и всего эксперимента.
Пример
Один клиент хотел провести исследование новых областей своего сайта, которые были специально созданы под новый оффер его компании. В частности, он хотел запустить айтрекинговое исследование на новом лендинге и вспомогательной странице с контентом, раскрывающем особенности предложения.
При содействии клиента компания разработала бриф, в котором были указаны основные цели эксперимента, целевые участники, бюджет проекта и сроки реализации. Основными целями исследования стали достижение понимания особенностей вовлечения клиента (айтрекинг) на обеих страницах и изучение понимания клиентом нового сервиса.
Ориентируясь на эти цели и бюджет, был разработан исследовательский подход к проекту. Поскольку клиент настаивал на проведении айтрекингового исследования, было решено воспользоваться Sticky, удаленным инструментом для проведения такого рода исследований. Этот сервис был выбран, поскольку он позволяет проводить дистанционные немодерируемые айтрекинговые эксперименты.
Также был задействован сервис Sticky Crowd для подбора участников. Критерии выбора респондентов были взяты из последних исследований, что были проведены самим клиентом.
Используя возможности Sticky, удалось определить методологию исследования и разработать рабочий процесс для участников. Затем был составлен первоначальный список потенциальных вопросов, которые могли бы дополнить айтрекинг.
В ходе проработки структуры эксперимента были рассмотрены рабочий процесс и задачи, сроки их выполнения и финальные вопросы. Было решено использовать открытые вопросы, чтобы не искажать ответы участников, и ограничить их количество до пяти.
Вопросы были взяты из первоначального списка и переработаны так, чтобы они дополняли друг друга и были направлены на достижение поставленных целей, в частности — изучение того, как люди восприняли новый сервис.
После этого был дан старт пилотному тестированию.
Поскольку средства платформы Sticky не позволяли провести айтрекинговое исследование на двух людях, были использованы другие бесплатные инструменты. Оба респондента соответствовали профилю целевого участника. Тест тут же указал на такие недостатки дизайна, как несовершенство инструкции, которая вызывала путаницу и замешательство, и недостаточное время для выполнения задач.
Инструкция не обеспечивала участников достаточной контекстуальной информацией в отношении того, что надо искать, и, как итог, люди не понимали, какие следовало предпринимать действия. Также исследователи предполагали, что 5 секунд вполне хватит каждому участнику, чтобы успеть ознакомиться с содержимым каждой страницы. Однако размещенный контент был весьма разнообразен, и 5 секунд явно было мало, чтобы люди успевали просмотреть всю страницу.
После внесения корректировок был организован и проведен второй пилотный тест с другими двумя участниками. Изменения в дизайне позволили решить возникшие на предыдущем раунде тестирования проблемы.
Второе пилотное тестирование не только подкрепило уверенность исследователей, что можно переходить к проведению основного эксперимента, но и привело к так называемому «ага!»-моменту, прозрению.
Пилотные тесты дали понять, что у участников были определенные ожидания касательно функциональной стороны каждой страницы, которую они посещали. Например, респонденты ожидали, что главная задача лендинга — захватить их внимание и перевести на страницу с сервисом, где, как они думали, им будет представлено больше информации о нем и как его использовать в своей работе. Эти выводы изменили стратегический подход для организации обеих страниц.
Иногда предварительное тестирование действительно может озарить вас какими-то новыми идеями, позволить увидеть то, что раньше вы просто не замечали. Это приятный бонус проведения таких исследований, но надо помнить, что любую новую идею нужно проверять путем проведения дополнительных тестов.
Заключение
Проведя пилотное тестирование, вы не только улучшите выводы, полученные от одного проекта, но и сам процесс проведения исследований.
Рефлективная и итерационная природа пилотных тестов ускорит развитие ваших навыков исследователя.
Хоть пилотный тест и требует дополнительного времени и ресурсов, но поверьте, что эта небольшая инвестиция позволит получить гораздо более значительные результаты в следующем исследовательском проекте и даже за его пределами.
Высоких вам конверсий!
По материалам: widerfunnel.com. Источник картинки: Unona A.
