Пилотный тест или прогон (1–2 сессии перед реальными тестами) помогает подготовиться к исследованиям и приводит к более достоверным результатам. Такой тест позволяет утвердить формулировки задач, оценить время проведения сессий и, если все пройдет удачно, показывает дополнительные опорные точки для дальнейших исследований.
Наступает день юзабилити-тестинга: вы даете первому участнику короткое описание, объясняете задачу и погружаете в исследование. Но в итоге он не понимает, что от него требуется. И проблема не в дизайне сайта, а в организации процесса — тест только начался, а вам уже приходится как-то выкручиваться и срочно определять другие пути решения задач. И что дальше?
Проводя качественный юзабилити-тест, маркетологи чаще привлекают небольшое количество пользователей — они способны предложить отличные идеи по поводу дизайна, а также оценить сильные и слабые стороны юзабилити. Но если пользователям приходится вникать не в оформление ресурса, а в формулировки исследования, достичь приемлемых результатов будет очень тяжело. Возможно, вам даже придется исключить некоторые данные сессии.
Пилотное тестирование поможет избежать этих проблем. Юзабилити-тестер (а лучше — целая команда) прогоняет одну–две сессии перед главным исследованием. Обычно, чтобы подготовиться к «настоящему» тесту и убедиться, что все в порядке, достаточно пары сессий.
Таким образом, смысл пилотного прогона — тест самого теста, дабы удостовериться, что все пройдет максимально гладко.
Причины для пилотного прогона
Вы —новичок в юзабилити-тестах. В таком случае, лучше сначала потренироваться на задании, которое, при необходимости, можно отложить.
Вам не знаком предмет тестирования. Если вы впервые работаете с сайтом, посвященным, к примеру, ракетам или ядерной физике, и не ориентируетесь в данной области, пилотное тестирование поможет подготовиться. Вы также можете ознакомиться с темой и терминологией, например, пообщавшись с экспертами: дизайнерами, разработчиками и т. д.
Вы проводите удаленное тестирование. В таком случае необходимо проверить все задачи, чтобы сократить риск возможного недопонимания. Если вы ведете ежедневную отчетность по тесту, проводите немодерируемое исследование или общение ведется по почте, то вся коммуникация — начиная получением информации и заканчивая подтверждением emails для ответов на вопросы, — должна пройти пилотное тестирование. Нужны конкретные инструкции, иначе никто не сможет ответить на вопросы или внести ясность, если у участника возникнет проблема.
Вы проводите количественное исследование. Обычно в крупных исследованиях проводятся подсчеты статистически важных результатов, поэтому сессии должны проходить одинаково, для чего необходим хороший протестированный скрипт.
Вы тестируете особо значимый проект. Даже после нескольких лет работы в юзабилити попадаются проекты, требующие особого внимания: к примеру, если результаты направляются напрямую CEO или проверяется основной продукт компании. Разумеется, все проекты важны, но некоторые немного более значимы, чем остальные.
Исследование проводится только один раз. Когда вы прогоняете один и тот же тест по кругу, не так страшно допустить несколько ошибок — их вы исправите при последующих проверках. Но если исследование проводится только раз, права на ошибку нет.
Пилотное тестирование может быть полезно даже опытным тестировщикам. Чем больше вы работаете в какой-либо области, тем лучше описываете задачи, но протестировать план исследования до появления участников будет не лишним. Все ли тесты требуют пилотных прогонов? Нет, но это дополнительная страховка того, что все пройдет гладко.
Преимущества пилотного тестирования
1. Генеральная репетиция
Пилотный тест — отличный способ убедиться, что команда действительно готова к работе. Распечатаны ли материалы? Все ли документы подготовлены? Позаботились ли об оплате? Готов и функционирует ли сайт? Поможет и чеклист, но проведение исследования в более спокойной обстановке — хорошая возможность проверить подготовку команды. Воспринимайте это как «тренировочный полет» космонавтов перед отправкой на орбиту.
2. Проверка формулировок
Если тестировщика сбивает с толку плохо написанное задание, то его ценное время уходит на изучение интерфейса. Заказчик первым должен обнаружить это недопонимание и потратить время на дополнительные объяснения. Вам и вашей команде задания кажутся хорошо сформулированными, но участников они могут и запутать. Чтобы исследование прошло гладко и принесло желаемый результат, найдите и исправьте слабые стороны.
3. Тайминг
Планирование времени на тестирование может быть не такой простой задачей. Сколько заданий успеют выполнить участники за сессию — 3 или 7? Самостоятельное выполнение заданий и отведение большего периода времени, чем потребовалось вам — очень грубый способ оценки. Выполнение заданий вместе с парой участников поможет вам точнее определить необходимое время и позволит эффективно расставить приоритеты для реального исследования.
4. Данные, которые могут понадобиться
Если пилотный прогон пройдет удачно, у вас уже будет неплохой скачок в исследовании. Проводите сессии, словно это реальный тест, данные которого можно будет использовать. Даже если одно или два задания будут выполнены неправильно, вы все равно сможете применить полученную информацию.
Не спешите выкидывать данные просто потому, что тестирование было пробным. В то же время, не возлагайте слишком большие надежды на результаты пилотного теста: если что-то пошло не так в самом начале, это может повлиять на надежность финальных данных.
Полезные советы
Чтобы пробный прогон был максимально эффективным, проводите его, как минимум, за день до основного теста. И даже раньше, если вы изучаете инструкции для немодерируемого исследования — тогда вам, возможно, потребуется проверить задания и формулировки несколько раз, чтобы их можно было выполнять без проблем. Это оставляет вам и вашей команде время, необходимое для внесения изменений (а изменения бывают всегда).
Отберите целевых участников, подходящих для пилотного теста, чтобы каждый отзыв о самом исследовании или о сайте был более релевантным. Однако, пусть лучше пробное тестирование проводится не совсем целевыми участниками, чем не проводится вообще. Просто в таком случае результаты будут малопригодны для анализа.
Занимает ли пилотный прогон дополнительное время? Конечно. Необходимо заранее проверить материалы, набрать дополнительных участников, спланировать время. Зато финальное тестирование пройдет более гладко и быстрее принесет достоверные результаты.
Высоких вам конверсий!
По материалам: nngroup.com, image source: Dave Meier
