Nielsen Norman Group часто проводят тестирования юзабилити. На этот раз они решили организовать удаленное контролируемое тестирование — то есть такое, при котором экономится большое количество денежных средств, а набор участников происходит в реальном времени, пока они занимаются своими обычными делами.
Для тестирования было выделено 4 критерия:
1. Участники должны быть заинтересованы в контенте ресурса..
2. Между участниками тестирования и проводящими его людьми должен быть постоянный канал коммуникации.
3. Процесс должен записываться.
4. Наблюдатели должны иметь полный обзор процесса.
Традиционно участники исследования юзабилити отбираются заранее. Поиск репрезентативной группы при таком подходе довольно сложен и для сайтов с узкой целевой аудиторией оказывается чересчур дорогостоящим. Кроме того, исследователям хотелось обеспечить максимальную степень вовлеченности пользователей. Поэтому в качестве «подопытных» они взяли посетителей своего же сайта: это гарантировало, что, во-первых, люди действительно были заинтересованы в представленной на нем информации, и, во-вторых, они были реальными пользователями.
Краткое описание проведенного тестирования
1. Участники были набраны на посредством ethnio — сервиса, позволяющего искать подходящих людей для удаленного UX-исследования.
2. Если участник был достаточно квалифицирован, ему звонили по указанному им номеру.
3. Экспериментатор запускал на своем компьютере сессию GoToMeeting.
4. Участник тестирования подключался к ней.
5. К этому моменту удаленные наблюдатели также получали email-инструкции по подключению к сессии.
6. Производился трех полосной телефонный вызов посредством линии GTM.
7. Между участником и экспериментатором устанавливалась визуальная связь.
8. Далее начиналась запись в GTM.
9. Сразу после сессии участник получал подарочную карту Amazon с благодарностью.
Вы своем исследовании вы можете использовать другие инструменты для тестирования, но выбранные Nngroup сервисы прекрасно подходили для их проекта.
Отбор участников с помощью ethnio
Ethnio — это настраиваемый опросник, который можно установить на сайте в виде всплывающего окна. Или же на него можно разместить прямую ссылку.
Поскольку пользователи отбирались с сайта компании, ethnio был настроен на него. В результате получилось следующее всплывающее окно:
«У Вас есть 30 минут свободного времени прямо сейчас? Поучаствуйте в исследовании и получите подарочную карту Amazon на $50»
Организаторы исследования разместили окно на страницах семинаров и научных докладов. Оно появлялось через 15 секунд после загрузки пользователем страницы. Известно, что продолжительность просмотра для данного ресурса, в среднем. составляет 80 секунд. Всплывающее окно можно было показать сразу же, однако пользователям необходимо было дать время, чтобы они определили полезность открытой страницы и начали искать нужную им информацию.
Задержка всплывающего окна позволила отсеять не заинтересованных в контенте сайта пользователей. 15-секундная задержка, как выяснилась, была эффективнее 30-секундной. Возможно потому, что за 30 секунд люди успели понять, что тема страницы с докладом, на которой они оказались, была им не интересна, и покидали ее. Или же наоборот — они настолько углублялись в чтение, что не замечали всплывающего окна.
Понадобилось несколько тестов, чтобы определить баланс между длиной сеанса и стимулом для участия в исследовании. Большинство посетителей сайта чаще отвечали на опросник, когда их просили о 20 минутах свободного времени, чем о 30. Но 20 минут было недостаточно для проведения теста. Дополнительные 10 минут нужны были для вводной информации и подведения итогов. Что касается стимула, то здесь все предсказуемо: чем больше денег было предложено, тем больше пользователей соглашались на опрос.
Участникам пообещали подарочную карту Amazon за потраченное время. Nngroup сделали карту со своим логотипом и выслали ее на email после тестирования. Подарочные карты в качестве вознаграждения подходили идеально, поскольку они могли быть куплены заранее, они хорошо известны, и люди доверяют им.
Как происходил опрос
Во всплывающем окне Ethnio пользователи могли нажать кнопку «Продолжить» и попасть на страницу с вопросами, число которых ограничивается 10. В Ethnio также есть опция автоматизации опросника, позволяющая отсылать участников в зависимости от их ответов, например, на usertesting.com.
Однако же тестирование Nngroup предполагало более 10 вопросов. Поэтому для получения основной информации 7 из вопросов были заданы с помощью Ethnio, а остальные — уже по телефону.
Ethnio автоматически уведомлял исследователей о завершении кем-либо опроса по email. Пользователи видели всплывающее окно только тогда, когда исследователь был онлайн и мог позвонить им:
Запуск сессии GoToMeeting
Если участник опроса оказывался достаточно квалифицированным и соглашался на исследодвание, он получал инструкции, которые предоставляет GoToMeeting после нажатия кнопки «Пригласить других»:
Те же инструкции получили и наблюдатели. Когда участник присоединялся ко встрече, он видел белый экран с некоторой игфломацией:
Лишь у двух из 15 участников были проблемы с установкой GoToMeeting из-за настроек их брандмауэра.
Общий экран и аудио
Чтобы подключить звук без необходимости прерывать разговор с участником, экспериментатор добавил телефонную линию, которая обеспечивалась GoToMeeting. Для GTM все выглядит как одна звуковая линия, но фактически ей захватываются как координатор, так и участник:
Затем участник превращается в выступающего:
Большинство функций участника было дезактивировано. Они не должны были быть в состоянии общаться между собой или обмениваться видео-изображениями:
Запись сессии
Последний шаг — запись процесса тестирования с помощью кнопки «Начать запись». Нужно было убедиться, что та же опция выбрана в «Параметрах», как показано на скриншоте ниже:
Для окончания сессии можно было либо завершить встречу в меню «Файл», либо сначала завершить запись. При завершении встречи запись автоматически остановится и сохранится в указанном месте.
Выводы
Приглашение пользователей к участию в исследовании прямо с сайта в реальном времени позволило найти заинтересованных людей. Благодаря тому, что они получали предложение о тестировании в ходе своего посещения, сессия проводилась сразу же.
Однако показатель ответа при такой методике оказался довольно низок. Только 2% людей, увидевших опросник, завершили его, и лишь 30% из них были отобраны для исследования — а из них всего 60% поучаствовали в тестировании. Иными словами, количество участников составило 18% из тех, кто завершил опросник, и 0,3% из тех, кто видел его — то есть 1 успешное тестирование на 500 заинтересованных посетителей.
Высоких вам конверсий!
По материалам: nngroup.comimage source voicesdotcom
