Метод PURE позволяет количественно оценить, насколько сложен продукт для использования и помогает понять, как это исправить без затрат времени или денег. Признайтесь: любому бизнесу нужны метрики, чтобы оставаться бизнесом. Когда дело доходит до пользовательского опыта, все просто одержимы метриками, хотя их не так просто проверить и вычислить. Несмотря на то что некоторые маркетологи признают относительность получаемых данных — сервисы аналитики, сплит-тестирования, юзабилити-метрики становятся все более популярными. Скорее всего, эта тенденция сохранится и ближайшие годы, поэтому если вы пока не применяли метрики и никак не анализировали пользовательский опыт, самое время начать это делать.
Традиционные метрики можно разбить на поведенческие (что пользователи делают) и исследования отношения (attitudinal, что пользователи говорят). Первые собираются на основе поведения пользователя на веб-ресурсе, используются в веб-аналитике и тестировании. Они включают количественные показатели (пользователи, просмотры страниц, посещения и т.д.), различные показатели (отказы, конверсия), и время (проведенное на странице/ах, потраченное на выполнение целевого действия, вовлеченность). Ко вторым относят индекс приверженности NPS, рейтинги пользователей и т.д.
Все эти показатели полезно знать, но у данного метода есть ряд ограничений:
Одни лишь цифры, как правило, не позволят вам понять, почему один инструмент маркетинга (элемент дизайна) оказался эффективным, а другой – нет, и как это исправить. Метрики, используемые в веб-аналитике и тестировании, являются в большинстве косвенными индикаторами качества пользовательского опыта: они отражают производительность продукта, а не реальный опыт живого пользователя.
Классические метрики измерения UX, например, бенчмаркинг-исследования, являются дорогостоящим и трудоемким, поэтому они используются недостаточно часто, чтобы обеспечивать систематическую оценку и отслеживать изменения опыта.
Метод PURE (Pragmatic Usability Rating by Experts) - это относительно новый юзабилити-метод, который позволяет обойти главные ограничения стандартных метрик: он достаточно быстрый, дешевый, надежный, может использоваться часто и позволяет восполнить те пробелы, которые остаются после использования традиционных метрик.
Как работает PURE
Описанные выше исследования отношений и поведенческие метрики – это не единственный способ добывать нужные вашему бизнесу цифры для понимания эффективности и качества UX. PURE служит той же цели, но в то же время является более практичным.
PURE — это метод оценки юзабилити, в котором эксперты назначают одну или несколько количественных оценок, каждая из которых соответствует конкретным критериям, а затем объединяют все полученные рейтинги в один, визуализируя полученный результат.
Чтобы понять, как это работает, рассмотрим аналогию с миром кино. Фильмы на сайтах ранжируются по популярности и по тому, как они оцениваются критиками и зрителями. К примеру, чтобы продемонстрировать мнение критиков, сайт Rotten Tomatoes («гнилые помидоры») использует специальную шкалу, которая называется Томатометр. Именно она показывает, сколько критиков одобрили фильм. Более того, на сайте есть и шкала, демонстрирующая процент зрителей, которым понравилась картина (Audience Score).
PURE – это томатометр для юзабилити. Он обеспечивает результат, полученный путем агрегирования оценок (по заранее установленной рейтинговой шкале) группы юзабилити-экспертов. Аналогичным образом оценивают фильмы и критики: есть общие для каждой картины составляющие, к примеру, сюжет, актерская игра, технические характеристики и т.д.
Одна существенная разница, однако, заключается в том, что, в отличие от кинокритиков, которые оценивают фильмы, исходя из собственных предпочтений и взглядов, эксперты юзабилити основываются на том, насколько данный тип UX релевантен для конкретного типа пользователя.
Шкала оценки PURE
Данный метод ориентирован только на один компонент пользовательского опыта: простоту использования. Другие аспекты, такие как эффективность (удовлетворение потребностей пользователей и т.д.) не рассматриваются. Но простота использования, по факту, имеет решающее значение, потому что если пользователи не смогут с легкостью использовать ресурс, продукт или услугу, они никогда не раскроют весь потенциал, который за ними стоит. Вот пример шкалы для двух задач (связанных с продуктом или сервисом).
Каждая задача в результате оценивается рядом цветных линий, каждая из которых – это конкретный шаг в задаче. Каждый из этих шагов оценивается экспертами и окрашивается в определенный цвет в зависимости от того, насколько легко или трудно это шаг дался бы определённому типу пользователя. Рейтинг каждого шага основан на простой шкале от 1до 3:
- Зеленый (один) — этот шаг типовому пользователю легко сделать, он обладает низкой когнитивной нагрузкой, паттерн знаком посетителю.
- Желтый (два) — данный шаг создает когнитивную нагрузку и требует усилий, но, как правило, все же может быть выполнен в большинстве случаев.
- Красный (три) — шаг является сложным для пользователя, что обусловлено значительной степенью когнитивной нагрузки или даже замешательством; некоторые целевые пользователи, вероятно, не выполнят задачу и вовсе покинут ресурс.
Результат для данной задачи — это просто сумма баллов всех шагов. Цвет поставленной задачи определяется худшим рейтингом: например, один шаг в задаче получил «красную» оценку, значит, вся задача окрашивается в этот же цвет.
Цифры и цвета наглядно демонстрируют трение, которое препятствует простоте использования. Чем выше цифра и «горячее» цвет, тем больше эффект трения. Сравнивая PURE-рейтинги одной и той же задачи в разных версиях продукта или в предложениях конкурентов, вы сможете без труда увидеть, что работает, а что нужно исправлять.
Одно из весомых преимуществ данного метода в том, что он учитывает общие усилия пользователя, а не просто клики или действия. Помните, что далеко не всегда лишь уменьшение кликов приведет вас к успеху: если задача по-прежнему остается «красной», в этом не будет никакого смысла. Сосредоточиться стоит именно на снижении усилий пользователя. Обратите внимание, что не нужно сравнивать результаты различных задач, поскольку их характер и цели часто отличаются.
Так как метод измеряет трение задачи, стоит определиться с теми задачами, которые подходят для тестирования. Ими будут только основные задачи, то есть важные для конечного пользователя и вашего бизнеса. Вот образец PURE шкалы для продукта с 7 основными задачами.
Задачи: загрузка, установка, создание аккаунта, регистрация, расширения браузера, добавление первого актива, решение проблемы (resolve issue found).PURE результат для данного продукта составляет 38 баллов, которые получены путем сложения баллов за все основные задачи. Итоговый цвет определяется «худшим» цветом одной или нескольких основных задач. Таким образом вы акцентируете внимание на потенциальных точках отказа. Можно провести аналогию с гольфом – чем меньше очков, тем лучше.
Как применить шкалу PURE
Данный метод позволяет не только определить «болевые точки» UX, но и продемонстрировать начальству и коллегам, какие проекты по оптимизации опыта стоит разработать, а уже во время работы — отслеживать, улучшают ли они ситуацию. Шкала позволит вам всегда держать в приоритете красные зоны.
Шкалу PURE стоит также применять для сравнения с решениями конкурентов, т.к., как правило, основные задачи и целевая аудитория не будут отличаться. Более того, данный метод можно использовать не только для готового продукта, но и на этапе разработки, применяя его на прототипах.
Для использования этого метода, предстоит пройти 8 обязательных и 2 необязательных шага:
1.Четко определить целевой тип пользователя(ей).
2.Выделить основные задачи для целевых пользователей.
3.Определить желаемый путь (happy path, desired path) для каждой из основных задач.
4.Определить все шаги для каждой задачи и баллы
5.Собрать оценки трех экспертов
6.Расчет межэкспертной надежности interrater reliability (надежности результатов, полученных различными экспертами)
7.Обсуждение рейтингов экспертной комиссией, определение баллов за каждый шаг
8.Подсчет итоговых баллов и создание цветовых диаграмм по каждой из основных задач и по всему продукту в целом.
Кроме представленных шагов, вы можете предпринять и два других, которые не являются обязательными:
9.Собрать скриншоты (или фотографии) для каждого шага и саммари с обоснованием решения экспертов по каждой задаче
10.При сравнении нескольких товаров или версий продукта подготовить сравнительный лист со всеми результатами PURE
Разберем каждый из этих шагов более подробно.
Шаг 1: Типы пользователей
Для того чтобы экспертам было понятно, с чем работать, вам никак не обойтись без этого шага. Характеристики пользователя, такие как, например, знание текущего продукта, оказывают существенное влияние на оценки экспертов. Например, посетителям, которые забыли пароль, может быть предложено ввести одноразовый пароль, отправленный в SMS-сообщении. Всем, кто знаком с этим шаблоном, будет легко справиться с задачей, но неискушенным пользователям может понадобиться дополнительное усилие.
Важный момент: на данном шаге вы не просто делаете предположения, а фиксируете все типы документально. Стоит обратиться к Buyer Persona, которые вы уже разработали. Четко сформулированные типы помогут экспертам быть последовательными в своих рейтингах. На практике, целевых пользователей обычно ограничивают 2-3 типами.
Шаг 2: Основные задачи
Основные задачи — это те, которые являются максимально важными для бизнеса (например, оплата/оформление заказа) или приводят целевых пользователей к удовлетворению их основных потребностей (при условии, что продукт или услуга как раз и «отвечают» за определенную потребность).
Для большинства потребительских товаров и мобильных приложений существует менее 10 основных задач, и они образуют ту основу, с которой работают эксперты PURE. Однако веб-сайты или сложные приложения могут иметь и более 10 основных задач, но все же не стоит концентрироваться на большом количестве. Ограничьтесь 20, по крайней мере, если вы только начинаете использовать этот метод.
Шаг 3: Желаемый путь
Данная задача может быть выполнена в различных формах, с разным количеством шагов. Скорее всего, вам потребуется мозговой штурм для определения идеального пути пользователя, то есть максимально выгодного вам и простого для пользователя способа выполнить конкретную задачу.
Разумно было бы оценить несколько путей к одной и той же цели, но так же как наличие более чем одного типа целевого пользователя, это увеличивает время оценки. Учитывайте это на данном шаге. Некоторые команды используют PURE для оценки самых популярных путей, полученных через сервисы веб-аналитики.
Шаг 4: Определение шагов внутри задачи
Когда вы определились с путем, самое время разбить его на шаги. казалось бы, здесь нет ничего сложного — нужно всего лишь посчитать количество действий, но на практике все сложнее. Вам важно установить, где каждый этап начинается и заканчивается. Шаг начинается тогда, когда система предоставляет пользователю набор опций, а заканчивается, когда пользователь выполняет действие и ожидает реакции системы на это действие. Шаг может содержать микровзаимодействия, непринципиальные для данной задачи, они считаются частью шага.
Эти принципы работают для большинства задач, но может потребоваться некоторая доработка в зависимости от типа продукта и конкретного UX.
Шаг 5: Обзор трех экспертных рейтингов
Для проведения PURE привлекают экспертов, желательно, разработчиков UX. Стоит сказать, что дизайнеры и разработчики, принимавшие участие в создании продукта, не могут участвовать в исследовании, т.к. даже профессионалам сложно оставаться беспристрастными к своему «детищу».
Группа может собираться в одном офисе или работать удаленно. Важно, чтобы на мнение экспертов не оказывали влияния оценки других участников рабочей группы. Для этого можно использовать индивидуальные бланки или онлайн-таблицы.
Шаг 6: Межэкспертная надежность
Чтобы узнать, насколько эксперты согласны друг с другом в выставлении баллов, нужно рассчитать межэкспертную надежность. Это степень, в которой два или более независимых наблюдателя сходятся в своих оценках. Прежде чем данные можно будет считать валидными, должна быть продемонстрирована высокая межэкспертная надежность.
Существует несколько способов ее рассчитать. Можно использовать альфу (α) Криппендорфа и бесплатные онлайн-калькуляторы, например, ReCal. Индекс надежности колеблется от -1 до 1, но обычно между 0,5 и 1,0. Если эксперты не достигли индекса, по крайней мере, 0.667, они должны обсудить, почему оценки получились настолько отличными.
Шаг 7: Обсуждение
После того как специалисты зафиксировали их индивидуальные рейтинги, они должны еще раз пройтись по всем шагам и обсудить вместе с другими экспертами. Эта дискуссия имеет неоценимое значение, т.к. именно на этом этапе группа сможет определить единый результат для каждого шага задачи.
Конечно, вывести итоговые оценки намного легче, если все эксперты согласны друг с другом. Если 2 из 3 придерживаются одного мнения, часто (но не всегда) их оценки становятся решающими. Не забудьте оговорить заранее, с помощью какого алгоритма эксперты должны выставлять итоговую единую оценку. Иногда в качестве итоговой может быть выбрана та оценка, которая оказалась «в меньшинстве», например, чтобы стимулировать разработчиков потрудиться над конкретной проблемой. Стоит учитывать, что PURE метод не предполагает вычисление оценок путем обычного сложения и вычисления среднего значения, т.к. в этом случае теряется ценность экспертной оценки.
Очень редко все три рейтинговые оценки будут разительно отличаться. Но даже если такая ситуация возникла, обсуждение поможет прояснить все недопонимания между экспертами.
Как и на других этапах, все решения должны быть задокументированы.
Шаг 8: Создание цветовых рейтингов
Следующий шаг является простым и понятным: после подведения итогов данные нужно визуализировать в виде зеленых, красных или желтых рейтингов. Используя приведенную выше цветовую шкалу, вы можете показать точки трения, обозначив их красным цветом. Значит, именно над этими шагами разработчикам предстоит потрудиться. Только представьте: конкретные действия вызывают значительные трудности у пользователей, а ведь мы говорим только о нескольких типах потенциальных клиентов! Далее необходимо обратить внимание на желтые точки — это точки роста, те шаги, которые предстоит оптимизировать, чтобы они окрасились в зеленый цвет при следующем тестировании. Более того, даже зеленые точки порой не идеальны и открыты для совершенствования, возможно, эксперты сами скажут вам об этом.
Шаг 9 (не обязательный, но желательный): Собрать скриншоты и фотографии
Чтобы наглядно продемонстрировать причины трения, собирайте не только отчеты экспертов, но и фотографии или скриншоты, сделанные во время их работы. Более того, вполне вероятно, что у экспертов в ходе исследования возникнут свои мысли, как можно исправить те или иные недочеты. Не стоит пренебрегать этими ценными заметками, ведь в идеале рейтинги формируются группой экспертов по юзабилити, которые понимают, как должен работать UX и разбираются в принципах дизайна. Эти данные станут хорошей базой, от которой сможет отталкиваться ваша команда для работы над ошибками.
Шаг 10 (не обязательный, но желательный): Сравнительный анализ
Одним из самых приятных аспектов данного метода является сравнение рейтингов одной и той же задачи в разных версиях продукта или между конкурирующими продуктами. Особенно в том случае, если вам удалось добиться успеха в оптимизации UX (а именно залогом этого успеха и станет первое тестирование PURE).
Ниже приведен пример такой сравнительной таблицы для одного продукта, рейтинги формировались в разные месяцы: в марте, июле и августе. Как вы можете видеть, за 5 месяцев разработчикам удалось добиться значительного эффекта: все красные точки были устранены, а несколько желтых шагов, вызывавших определенные трудности у пользователей, перешли в разряд «зеленых».
Стоит ли доверять PURE?
Конечно, все данные, полученные с помощью этого метода, не столь точны, как показатели, основанные на поведении реальных пользователей. Однако не стоит сомневаться в их надежности. Во-первых, оценку должны давать независимые эксперты, которые разбираются в UX. Во-вторых, данные, полученные этим методом, в абсолютном большинстве случаев оцениваются высоким индексом межэкспертной надежности (варьируется от 0,5 до 0,9, чаще всего — выше 0,8).
В недавнем исследовании PURE, проведенном в американской банковской холдинговой компании Capital One, три эксперта показали индекс надежности 1,0 (то есть 100%) для 9 основных задач. Эксперты ожидают, что с каждым годом количество организаций, взявших PURE на вооружение, будет только расти.
Заключение
Проведение данного исследования, независимо от размеров вашей компании, требует некоторых усилий, и сегодня не каждый бизнес может на него решиться. Однако в комплексе со стандартными метриками, шкала PURE способна показать вам именно то, что вы упускали из виду во время обычных тестирований и то, что не способны рассказать вам сухие цифры веб-аналитики.
Высоких вам конверсий!
По материалам: www.nngroup.com, Источник картинки: jh_tan84
