Как люди, разбирающиеся в UX, мы понимаем значение проведения юзабилити исследований. Но научно-исследовательские инициативы – даже если хорошо спроектированы – не идеальны. Лабораторные исследования тестирующие веб-сайты, например, никогда в идеале не показывают реальное поведение пользователя в естественной среде. Это потому, что неизбежно, само протокольное исследование будет влиять на результаты. Лабораторная среда никогда не сможет повторить природную среду участника, и простое присутствие посредника или модератора исследований создает измерение искусственности, которое может помешать исследовательским целям.
У модераторов научных исследований трудная работа. Они не только должны облегчить сессии таким образом, чтобы цели исследований были достигнуты, но также найти равновесие между двумя задачами, которые еще находятся «не в ладах друг и другом»: сохраняя участника в рамках исследования, в тоже время позволяя ему быть на месте водителя, чтобы сделать опыт как можно реалистичнее.
Итак, работа модератора трехсложная:
- Предоставить результаты, которые отвечают научно-исследовательским целям.
- Дать участнику достаточно свободы, чтобы исследование отражало опыт его реального мира.
- Держать участника в рамках исследования, чтобы получить наиболее эффективный результат.
«Когда я жду и молчу, участник заканчивает предложение, сообщая что-то ценное. Дайте участникам достаточно времени, чтобы вникнуть в дизайн и собраться с мыслям.»
Как модерирование может повлиять на результаты исследований
Способ, которым модератор облегчает исследовательские сессии, является существенным и важным. В лаборатории, большинство выводов появляются в результате двух видов деятельности: наблюдения за тем, что участник делает и постановки (наводящих) вопросов. Оказывается, что баланс между этими двумя видами деятельности имеет решающее значение. По моему опыту, лучшие результаты в научно-исследовательской сессии сосредоточены в двух областях: что участник делает, и их добровольной обратной связи – без подсказки. Это те самые драгоценные камни, золотые самородки, которые ближе всего подходят к выявлению того, как на самом деле на пользователя будет влиять дизайн.
Как модераторы, мы часто задумываемся о том, какие вопросы задавать (в соответствии с нашей собственной повесткой дня), будучи осторожными, чтобы не задать наводящие вопросы. Но для эффективной модерации, это только начало. Модераторы имеют возможность – и власть – помешать целям исследования тем, какие типы вопросов они задают, и когда они это делают. Определенный тип вопроса, также как и время, может иметь огромное влияние на то, что происходит во время сессии и, как следствие, на результаты. Их работа заключается в зондировании. Так что довольно заманчиво пытаться задать слишком много вопросов, неправильный вопрос и задать его в самое неподходящее время. Проблема с последними двумя заключается в том, что они могут сформировать мнение пользователей (в данный момент) и даже заставить их думать о том, о чем они обычно не думают – таким образом, потенциально направляя беседу туда, куда она, как правило, бы не пошла.
Помните, что участники получают награждение за обратную связь. Благодаря этому, они будут с готовностью давать ответ на любой вопрос, который мы зададим и охотно последуют нашему примеру. Искаженные выводы это, конечно, серьезная проблема, потому, что они ставят под угрозу нашу способность идентифицировать реальные проблемы с дизайном и могут привести к ошибочному принятию решений нашими деловыми партнерами.
Я как-то наблюдал за модератором, который считал, что лучший способ получить надежные результаты от группы пользователей – это задать каждому из них один и тот же вопрос, одним и тем же способом. Каждая исследовательская сессия, затем, становится ригидным вопросно-ответным периодом, в котором пользователи взаимодействовали относительно мало с тем сайтом, который должен был быть протестирован. Ключевым в юзабилити-тестировании является наблюдение за поведением. То, что люди делают, является самым показательным. Для этого, модератору не стоит вмешиваться, чтобы получить лучший результат, и позволить участникам взаимодействовать с веб-сайтом, как они обычно это делают. Это лучше, чем вставлять слишком много вопросов в беседу.
Красота качественного исследования состоит в том, что оно позволяет понять, где и почему пользователи сталкиваются с проблемами дизайна. Каждый пользователь индивидуален, и модератор должен иметь широкие возможности для исследования конкретного опыта и мыслей каждого пользователя. Хотя для того, чтобы появлялись большие идеи и интсайты, модератору нужно быть гибким и достаточно проницательным, чтобы знать как получить максимум от каждой научно-исследовательской сессии.
Эффективное содействие
Для эффективного содействия, модератор должен иметь много навыков и должен много поразмышлять на эту тему. Объем этой статьи ограничен, чтобы обсудить то малое, что я обнаружил, и то, что имеет особое влияние на результаты исследований.
Как начать исследовательские сессии
То, как вы начинаете исследовательские сессии очень важно. В течение долгого времени, я привык начинать сессии с пяти или шести вопросов, которые были связаны с темой научно-исследовательской инициативы. Если исследование было подобрано для определенного типа инвестиционного счета или определенного типа торговой деятельности, например, я мог начать с нескольких вопросов для справок, чтобы узнать больше об участнике или его опыте работы с этой темой.
Потенциальная проблема с этим, однако, состоит в том, что участники могут понять из таких вопросов, какая будет тема исследования и каковы масштабы сессии. Многие, затем, будут рады подстроить свое поведение и ответы под то, что они думают, мы хотим услышать от них. Опять же, участники получают вознаграждение за обратную связь, так они захотят угодить и быть полезными, чтобы выглядеть компетентными и знающими, и быть внимательными к тому, что мы хотим от них.
В свете этого, я стал больше думать о том, как я начинаю свои исследовательские сессии. Теперь, я, как правило, задаю 2-3 очень общих вопроса, в основном, чтобы быть в рапорте, т.е. сблизиться с участником.
Уточняющие вопросы
Исследовательские сессии наиболее правдиво отражают истинный пользовательский опыт, когда участники могут взаимодействовать с дизайном, как они обычно это делают. Основная работа модератора состоит в том, чтобы наблюдать за тем, что участник делает, и отмечать любую обратную связь, которую они добровольно (без подсказки) в процессе высказывают. Я обычно оставляю большинство своих вопросов на конец сессии, когда я могу вернуться назад и пересмотреть опыт взаимодействия участника с сайтом, или я задам короткие уточняющие вопросы в процессе.
При зондировании, модератор принимает инициативу участника и просто запрашивает разъяснения или старается более глубоко вникнуть в то, что участник уже сделал или добровольно высказал. Объем зондирующих вопросов всегда должен быть ограничен тем, что участник уже озвучил или испытал. Например, если участник говорит, “Это действительно здорово”, я могу уточнить, задав вопрос, “Что делает его таким?” Если участник говорит слово или фразу, которые могли бы быть истолкованы несколькими способами, я попросил бы разъяснений. Я бы не стал задавать вопрос совершенно не связанный с тем, что сказал участник, чтобы не сбить его с мысли.
Один из способов оценить, соответствует ли ваш вопрос – это порассуждать о том, спрашиваете ли вы их о чем-то, что они уже сказали или сделали. Если нет, то подумайте дважды действительно ли суть важно задать его. Помните, что вы можете вернуться и заглянуть в историю активности участника, чтобы задать вопрос.
Еще одна причина, почему уточняющие вопросы важны – это то, что они помогут вам проверить ваши предположения. Человек всегда проверяет информацию, часто не осознавая этого. Когда участник использует определенный термин или высказывает положительную обратную связь, легко предположить, что вы понимаете то, что они имеют в виду, или что вы знаете, почему они довольны дизайном (даже не осознавая этого). Но помните, что предположения, не подтвержденные участником, могут привести к ошибочным выводам исследования.
Открытые вопросы против закрытых
Помните также, что уточняющие вопросы – это открытые, а не закрытые вопросы. Закрытые вопросы требуют ответов «да» или «нет», в свою очередь, открытые вопросы требуют более подробный ответ, что приводит к более глубокому пониманию. Используя закрытые вопросы, вы рискуете ошибиться в своих выводах.
Быть модератором не легко. Иногда возникает такое чувство, что ищешь верные вопросы в нужный момент, а иногда просто находишь верный вопрос неожиданно, как будто удача повернулась к вам.
Наводящие вопросы
Как было замечено еще в начале статьи, существует постоянная дилемма между тем, чтобы позволить участнику быть на месте ведущего и держать их в рамках исследования. Вашей целью может быть увидеть, обнаружит ли участник какую-либо функцию или элемент UI, который не находится в поле зрения по вашему мнению, например.
В этой ситуации, я слышал, как модераторы задавали вопросы подобного типа: «Как вы думаете, вы могли бы сделать тоже самое на этом сайте?» Но почему кто-то будет спрашивать, возможно ли что-то, если они еще не знают, что это возможно? Вопрос ограничивает ответ.
Вместо того чтобы задавать вопрос таким образом, подумайте о других способах получить ответ. Пользователи часто самостоятельно совершенно случайно открывают функциональность дизайна. А если они этого не делают, возможно, вы могли бы придумать для них задачу или задать вопрос другого типа, который поможет им наткнуться на нужную функцию. Например, если вы хотите, чтобы пользователь обнаружил, что схема является интерактивной, если навести курсор мыши к графику, может быть, вы придумаете задачу, которая потребует от пользователя пройти курсором по области экрана – спросив их о конкретном элементе в таблице данных.
Добиваясь равновесия
В любой исследовательской сессии, модератор сталкивается с постоянной проблемой определения того, что спросить и когда, с одной стороны, и когда просто молчать и наблюдать, с другой стороны. Дело в том, что нет одного идеального способа проводить исследование. Также как и в дизайне, есть множество способов сделать это, и каждый имеет свои слабые и сильные стороны (и потенциальный результат). Задача состоит в том, чтобы быстро принять решение о том, задать ли вопрос или повременить и просто наблюдать. Чаще всего, я обнаруживал, что когда я жду и храню молчание, участник заканчивает высказывание чем-то очень ценным. Дайте людям достаточно времени проникнуть в особенности дизайна и собраться с мыслями. ((Это часто занимает больше времени, чем вы ожидаете, потому что вы уже хорошо знакомы с дизайном.)
Я видел модераторов, которые задавали слишком много вопросов, что приводит к тому, что участник начинает вести себя менее естественно понимая, что сайт его тестирует. Вместо того, чтобы заниматься сайтом, они не уверены в том, следует ли им двигаться вперед или ждать следующей команды модератора. Это может привести к тому, что сессия может стать довольно разрозненной и будет трудно установить, как сессия прошла бы, если модератор больше наблюдал бы, а не допрашивал.
Помощь участникам
Участники иногда застревают в ходе исследования. Они могут столкнуться с чем-то непонятным, и не знают, как продолжить. В таких ситуациях, это не редкость, когда участник обращается за помощью, например, за объяснением. Но в каком случае модератору уместно помогать застрявшему участнику?
Мое правило состоит в том, чтобы дать ответ в том случае, если это поможет мне достичь исследовательских целей. Узнаю ли я больше, если позволю участнику испытать некоторый дискомфорт, и спрошу о проблемной зоне, или я узнаю больше, просто предоставив ответ, и спросив их по поводу их мыслей о дизайне? Чаще я узнаю больше, когда я не отвечаю слишком быстро (или вообще не отвечаю).
Как справляться с деловыми партнерами?
Эффективное модерирование также касается деловых партнеров и оценке того, что они хотят получить из исследования. У них часто есть что-то определенное на повестке дня. Им приходится принимать сложные вопросы, и если они смогут использовать результаты исследований, чтобы облегчить их (или выстроить свою точку зрения), они это сделают.
Ваша задача убедиться, что результаты исследований правдивы и управлять тем, что ваши бизнес партнеры извлекают из исследования. Я видел деловых партнеров, которые сосредоточены на своих личных любимых мозолях в процессе исследовательских сессий, и специально ищут такое поведение участников и их ответы, которые подтвердят их повестку дня. Когда вы исследуете то, что на самом деле не важно для участника (но то, что важно для бизнеса), ваши деловые партнеры могут придать чрезмерное значение ответам, чтобы облегчить собственную работу и решения.
Будьте осведомлены динамикой человеческой психологии – как участников, так и деловых партнеров. Эффективное модерирование требует значительного мастерства!
Выводы
То, как вы модерируете, будет иметь значительное влияние на качество ваших исследований. Цель, конечно, состоит в том, чтобы получить реалистичные результаты – результаты, которые покажут, насколько это возможно в реальном мире, опыт пользователей с дизайном, прошедшем проверку. Имейте в виду следующие особенности:
- Вопросы, задаваемые в начале исследовательской сессии, позже, могут чрезмерно повлиять на поведение и мыслительный процесс участника.
- Задавайте важные вопросы, которые не поведут участника в направлении, в котором иначе, он бы не пошел.
- Ваши собственные предположения могут непреднамеренно повлиять на результаты.
- Некоторые типы вопросов выдают ответы.
- Ваши ответы на вопросы участника могут повлиять на вашу способность понимать их потребности и ожидания.
Эффективный модератор понимает, как характер и время постановки вопросов может повлиять – и иногда даже привести – к результату. Модерирование также означает быть в состоянии решимости в данный конкретный момент и принимать важные решения о том, что спросить и когда.
Еще один фактор – это осознание присутствия различных игроков в исследовании и понимание того, как их соответствующие цели могут повлиять на целостность протокольных исследований. Цель модератора – получить реалистичные результаты; цель пользователя казаться компетентным и услужить; и цель бизнес-партнеров – использовать исследование, чтобы облегчить себе работу – вот почему они иногда побуждают модераторов просить участников спекулировать тем, что они должны делать в конкретной ситуации. (Вообще, просить участников спекулировать не продуктивно, потому что люди, как известно, не сильны в прогнозировании поведения).
Искусный модератор имеет большой опыт в управлении этими потенциально конфликтующими целями, с тем, чтобы обеспечить целостность исследования и в равной степени направлен на то, чтобы их выводы должным образом определяли решения их бизнес-партнеров.
Высоких конверсий!
