Вы знаете, что получение пользовательского фидбека крайне важно, — в конце концов, именно пользователи решают, станет ли ваше приложение успешным или нет. Но как узнать, насколько люди справедливы и объективны в своих отзывах?
На этот вопрос есть ответ: они несправедливы и необъективны. Все пользователи подвержены психологическим искажениям, и потому их фидбек также будет искажен. И ничего они с этим поделать не могут.
Когда вы спрашиваете и слушаете отзывы пользователей, предвзятость неизбежно появляется с обеих сторон: искажения влияют на людей, предоставляющих обратную связь, а ваши собственные предубеждения влияют на то, как вы воспринимаете эту обратную связь.
Важно знать об этом, особенно при просмотре комментариев о вашем пользовательском опыте (User Experience, UX). Точная и беспристрастная обратная связь имеет значение для разработки наилучшей версии вашего приложения. Хотя невозможно полностью справиться с искажениями (своими собственными или ваших пользователей), вы можете предпринять шаги для преодоления наиболее распространенных из них. Для этого нужно знать, что они собой представляют и когда могут появиться. В следующий раз, когда вы попросите пользователей оставить фидбек, имейте в виду эти нюансы и оценивайте свою реакцию на их комментарии. Не обусловлено ли ваше действие (или бездействие) каким-либо искажением?
Существуют десятки когнитивных искажений, принимающих множество разных форм, хотя несколько доминирующих типов особенно часто встречаются командам по разработке продуктов. В данной статье мы обратимся к 4 распространенным искажениям, возникающим при сборе и интерпретации UX-фидбека, а также способам предупреждения этих явлений в самом начале, прежде чем они помешают вашей деятельности:
- Предвзятость подтверждения (Confirmation Bias);
- Фрейминг (Framing Bias);
- Искажение дружелюбного настроя (Friendliness Bias);
- Эффект ложного консенсуса (False-Consensus Bias).
Предвзятость подтверждения
Это, вероятно, самое известное искажение, с которым сталкиваются люди всех профессий. Психолог Дэниэл Канеман (Daniel Kahneman), впервые представивший миру данную концепцию совместно со специалистом в области математической психологии Амосом Тверски (Amos Tversky), говорил о том, что предвзятость подтверждения появляется тогда, «когда у вас есть интерпретация, и вы ее принимаете, а затем подгоняете все данные под эту интерпретацию». То есть это происходит, когда вы тяготеете к ответам, согласующимся с вашими собственными убеждениями и предубеждениями.
Принимая исключительно ту обратную связь, что соответствует вашей установленной позиции, вы создаете эффект эхо, серьезно влияющий на подход к UX-дизайну. Одним из опасных последствий искажения является эффект обратного действия (Backfire Effect), при котором вы начинаете отвергать любые результаты, расходящиеся с вашим мнением. В качестве дизайнера вы должны создавать UX, наилучшим образом обслуживающий аудиторию, но ваш дизайн всегда частично основан на ваших субъективных вкусах, убеждениях и особенностях личности. Искажения проникают и в процесс сбора фидбека, но не столько в том, как вы интерпретируете отзывы пользователей, сколько в том, как именно вы их спрашиваете.
Одно агентство, разрабатывающее веб- и мобильные приложения, привлекало своих UX-дизайнеров для составления пользовательских опросов и проведения интервью с целью получения отзывов о продуктах. В конце концов, дизайнер мог понять UX как никто другой, и именно ему предстояло вносить изменения. Как ни странно, в течение года после этого агентство не получало полезной обратной связи. Руководители стали сомневаться в смысле создания этих опросов. Прежде чем полностью перестать ими заниматься, было решено провести эксперимент: UX-дизайнеров убрали из процесса сбора обратной связи. Писать опросы и собирать отзывы стал один из инженеров по качеству — и быстро обнаружилось, что результаты стали намного интереснее и ценнее.
Хотя дизайнеры были открыты для фидбека, они подсознательно писали опросы и интервью так, что ответы пользователей подтверждали их собственные предубеждения относительно созданного ими проекта. Вот, например, одна из формулировок: «Затрудняло ли поиск конкретного нужного товара широкое разнообразие доступных продуктов?». Эта фраза заставляла респондентов думать, что поиск продукта изначально представлял трудность. Людям не давали возможность самостоятельно составить подобный ответ. Этот вопрос также предполагал причину возникновения сложностей (широкий спектр продуктов), и респонденты не могли предложить другие потенциальные причины.
Когда дело перешло в руки инженеров по качеству, вопрос начал звучать следующим образом: «Возникали ли у вас какие-либо трудности при поиске нужного продукта? Если да, то почему?». У инженеров не было изначальных сильных убеждений относительно дизайна, и потому они ставили вопрос, на который не влияло искажение, оставляя возможность искренних ответов как тех, кому было сложно находить товары, так и тех, у кого проблем не возникало. Открытая концовка с вопросом «почему?» позволила собрать более разнообразные и информативные ответы, что помогло узнать множество слабых мест дизайна.
Предвзятость подтверждения часто появляется при придумывании подобных опросов: вы непреднамеренно задаете наводящие вопросы. Их формулировки генерируют ответы, подтверждающие то, во что вы уже верите. Убрав предвзятость, вы увидите гораздо более объективный и действительно полезный фидбек.
Как избежать предвзятости подтверждения
Преодоление данного искажения требует сбора отзывов от разных групп людей. Чем больше количество пользователей, обеспечивающих обратную связь, тем больше разных взглядов вы добавляете в общий микс. Не проводите опрос пользователей только из одной группы — сделайте все возможное, чтобы получить большую выборку из пользователей, представляющих все демографические особенности вашего целевого рынка. Таким образом, полученная вами обратная связь не будет ограничиваться набором предубеждений одной группы.
Избегайте наводящих вопросов. Вместо того чтобы спрашивать «Как вам понравилась функция X приложения?», вы можете предложить: «Оцените уровень удовлетворения функцией X согласно следующей шкале» (и укажите масштаб, варьируемый от «совершенно не нравится» до «сильно нравится»). Попросите кого-нибудь прочитать ваш опрос перед отправкой его пользователям, чтобы убедиться, что он звучит беспристрастно.
UX-дизайнеры также могут избежать предвзятости подтверждения, используя больше количественных данных в своей работе, хотя, как вы увидите ниже, даже интерпретация точных числовых данных не застрахует вас от предвзятости.
Фрейминг-искажения
Фрейминг зависит от того, какой контекст (или обрамление), вы выбираете для получаемого фидбека. Под влиянием данного искажения дизайнер может интерпретировать объективную метрику как в позитивном, так и в негативном ключе. Nielsen Norman Group приводит два примера оформления результатов исследования: в первом говорится, что 4 пользователя из 20 сказали, что они не смогли найти функцию поиска на сайте, во втором — что 16 пользователей из 20 отметили, что они нашли поисковую функцию:
Результат исследования, проведенного Nielsen Norman Group. Был поставлен вопрос: «Стоит ли подвергнуть редизайну поисковую функцию на основе результатов тестирования юзабилити?». Результаты тестов были сформулированы двумя способами: «4 пользователя из 20 не смогли найти функцию поиска» и «16 пользователей из 20 нашли поисковую функцию». Графики отражают ответы дизайнеров (слева направо): «Да, нужно провести редизайн, чтобы поиск было легче найти», «Нет, все и так в порядке» и «Не уверен(а)»
Nielsen Norman Group представила два результата, сообщающие одну и ту же информацию, группе UX-дизайнеров, причем половина получила положительное соотношение (16 из 20), а второй половине демонстрировалась частота отказов (4 из 20). Лишь 39% из тех, кто получил положительный результат, сочли, что требуется редизайн, а из тех, кому показали отказы, такое развитие событий посчитали логичным 51%. Несмотря на то, что метрика была одинаковой, смещение акцентов привело к тому, что профессиональные UX-дизайнеры повели себя по-разному.
Фрейминг при анализе данных может привести к целому ряду последующих явлений, таких как иллюзия кластеризации (Clustering Illusion), при котором люди ошибочно воспринимают паттерны данных, появившиеся случайно, или эффект якорения (Anchoring Effect), при котором первой части полученной информации присваивается больше значения, чем остальным. Эти ментальные ловушки могут повлиять на принимаемые вами в интересах развития продукта решения.
Как избежать фрейминга
Вам следует понимать достоинства и недостатки того, как вы воспринимаете данные, а также добавлять больше контекста при анализе.
При оценке каждого фидбека спрашивайте себя, каково окружение данных. Это поможет вам научиться не воспринимать первую интерпретацию как данность и понять, почему ваша точка зрения кажется положительной или отрицательной. Подбирайте хотя бы 1-2 альтернативные формулировки для выражения одного результата. Скажем, по итогам опроса, 70% пользователей считают ваш интерфейс интуитивно понятным. Это дает вам повод для гордости и оправдания предпринятого действия, но вы также должны признать, что контекст был положительным. Используя альтернативный подход, вам следует снова записать результат следующим образом: 30% пользователей не чувствуют, что пользовательский интерфейс интуитивно понятен. Рассматривая оба ракурса, вы получаете менее предвзятое и более точное представление о том, что эти данные означают для вашего продукта.
Будьте достаточно мудры, чтобы признать, что вы не уверены, какие действия следует предпринять на основе данных. Спросите мнение кого-либо из вашей команды. Если определенная часть обратной связи кажется особенно важной и трудно интерпретируемой, подумайте об отправке нового опроса или сборе дополнительной информации на эту тему. Спросите пользователей, решивших, что ваш интерфейс неинтуитивен, о конкретных аспектах для доработки (цвета, размещение кнопок, текст). Какие точные, беспристрастные вопросы вы могли бы подготовить, чтобы получить более глубокое понимание пользователей?
Искажение дружелюбного настроя (Friendliness Bias)
Естественно, вы хотите вести себя цивилизованно и профессионально с теми, кто предоставляет вам UX-фидбек, но быть чересчур дружелюбным просто невыгодно: не стоит быть настолько располагающим к общению, чтобы это начало влиять на ответы пользователей.
Искажение дружелюбного настроя, также называемое искажением уступчивости (Acquiescence Bias) или пользовательского исследования (User Research Bias), имеет место тогда, когда люди говорят вещи, которые, по их мнению, вы хотите услышать. Иногда это происходит из-за их симпатии к вам и уважения к вашему профессионализму, но порой причина этого кроется в гораздо менее приятных обстоятельствах. Люди просто устают от расспросов и думают, что положительные ответы позволят им поскорее разделаться с опросом или интервью. Это соответствует принципу наименьшего усилия (Principle of Least Effort). Согласно ему, люди пытаются потратить на задачу как можно меньшее количество умственного труда, времени и энергии. Мы стремимся избежать сопротивления, так как это ресурсозатратно. Возможно, вы сталкивались с этим при работе над юзабилити, но тот же феномен характерен и для сбора обратной связи.
Независимо от причины, склонность к доброжелательности может свести на нет все ваши старания и проведенные маркетинговые исследования, предоставляя вам далекие от реальности данные, которые вы не сможете эффективно использовать.
Как избежать искажения дружелюбного настроя
Уберите свою персону из процесса, так как большинство людей не любят говорить негативные вещи лицом к лицу.
Если сбор UX-отзывов включает в себя опросы один на один или в фокус-группах, пригласите кого-нибудь из вашей команды разработчиков в качестве посредника. Ведущий должен четко указать, что он или она не отвечает за дизайн продукта. Таким образом, люди почувствуют себя комфортнее и дадут вам честную обратную связь (возможно, не самую приятную).
Сбор фидбека в цифровом виде также уменьшает вероятность того, что данные будут искажены. Люди открываются охотнее, сидя за экраном, потому что им не приходится сталкиваться с реакциями опрашивающего их человека.
Помните, однако, особенно если вы идете по цифровому пути, о таком эффекте, как усталость интервьюируемых (Survey Fatigue). Когда вы задаете слишком много вопросов, пользователи начинают скучать, что приводит к выбору ответов наугад (или к выбору наиболее положительных вариантов) с целью быстрее закончить анкету и затратить меньше усилий. Чтобы избежать «доброжелательного настроя» из-за усталости интервьюируемого, делайте опросы как можно короче и формулируйте вопросы просто. Не делайте все пункты обязательными к заполнению и оставляйте лишь те вопросы, что действительно актуальны и необходимы.
Эффект ложного консенсуса
Эта форма когнитивных искажений возникает, когда дизайнеры переоценивают число людей, согласных с их идеей или дизайном. Проще говоря, ложный консенсус — это предположение, что другие будут думать так же, как и вы.
В 1976 году в рамках исследования Стэнфордского университета 104 студентов колледжа попросили пройтись по кампусу, рекламируя ресторан. Требовалось надеть рекламные щиты спереди и сзади (так называемую, сэндвич-рекламу). Эксперимент показал, что 62% из тех, кто согласился носить рекламу, полагали, что другие ответят так же, и что 67% студентов, отказавшихся носить знак, подумали, что их сверстники тоже ответят отрицательно. Тот факт, что обе эти группы сформировали большинство в пользу своего собственного убеждения, является примером ложного консенсуса.
Как отмечалось в примере с предвзятостью подтверждения, UX-дизайнеры были подвержены влиянию ложного согласия: они непреднамеренно формулировали вопросы, исходя из предположения, что пользователям понравятся те же функции, что и самим разработчикам. Несмотря на то что основная цель UX-дизайна — отстраниться от личных воззрений в пользу желаний и потребностей аудитории, вы не можете не видеть продукт через призму собственного восприятия. Вам сложно представить, что на вещи можно взглянуть иначе. Вот почему так важно участие в процессе сбора обратной связи членов команды с разным опытом (особенно с опытом вне UX-дизайна).
Как избежать ложного консенсуса
Определите и сформулируйте ваши собственные предположения. Когда начнете создавать пользовательский опрос или готовить тестовую группу, спросите себя: «Каковы, по моему мнению, будут результаты фидбека?». Запишите их — это ваши предположения. Еще лучше будет попросить друга или коллегу послушать, как вы описываете продукт, и попросите его записать услышанные от вас мнения и предположения.
Осознав свое восприятие, вы сможете разработать процесс обратной связи, который не поддерживает ваши собственные взгляды. Попробуйте следующее упражнение. Представьте, что каждое из ваших предположений неверно. Если это так, то какое из этих предположений представляет наибольший риск для успеха продукта? Какое вызовет общее недовольство среди пользователей? Создавайте вопросы, затрагивающие эти рискованные предположения.
Как и в случае с предвзятостью подтверждения, важно собирать отзывы от широкого круга пользователей, разных социальных и демографических характеристик. Убедитесь, что вы опрашиваете не только тех, кто тесно сотрудничает с вами или относится к одной с вами группе: они, скорее всего, будут разделять те же мнения и предубеждения, что и вы, а это повлечет за собой ложный консенсус.
Собранный с учетом искажений фидбек становится ценнее
Когнитивные искажения свойственны всем, но также универсальны и методы, позволяющие их избежать. Люди, включая вас, не могут полностью обезопасить себя от их возникновения, но это не значит, что вы должны позволить искажениям вмешиваться в вашу работу. Просто разбираясь в сути каждого из них и нивелируя их проявления в процессе получения обратной связи, вы сможете принять меры для преодоления предрассудков и собрать самый беспристрастный фидбек.
Все ваши вопросы должны быть тщательно сформулированы и отредактированы — это улучшит ясность и поддержит внимание участников. Чтобы избежать ошибок в данных, всегда опрашивайте большую и разнообразную группу и старайтесь скрыть свою личность, когда вы выступаете в качестве посредника при опросе или беседе с тестовой группой, а также устранить свою эмоциональность при чтении комментариев. Это побудит участников более честно рассказывать про их опыт работы с вашим UX, не позволяя вам проецировать на результаты ваши собственные предположения.
Возможно, вам будет полезно получить второе мнение по отзывам, когда вы начнете осознавать наличие искажений как постоянную часть сбора фидбека и тестирования. Это непростой процесс, но научившись уменьшать влияние когнитивных искажений на свою работу, вы будете создавать лучший опыт для ваших пользователей.
Высоких вам конверсий!
По материалам: smashingmagazine.com
