Юзабилити-тестирование: учимся составлять отчет

Юзабилити-тестирование — это один из наиболее эффективных способов выявить проблемы пользователей. Он подходит как компании-гиганту с миллионами пользователей, так и стартапу.

Проблема в том, что юзабилити-тестирование требует определенных временных затрат — для набора участников, модерирования и просмотра видео, а также для сбора и обработки результатов.

Инструменты, конечно, могут помочь с анализом, но без хорошей методологии они бесполезны. И к тому же, мало какие инструменты помогут вам быстро перейти от данных (видео) к инсайтам.

Даже после того, как у вас на руках появятся результаты, вам нужно будет преподнести их своим коллегам и руководителям таким образом, чтобы вдохновить их на изменения. В этой статье мы рассмотрим, как повысить скорость и эффективность юзабилити-тестирования.

Содержание статьи

Делайте записи как стенографист

Создайте качественный отчет из ваших заметок

Создайте количественный отчет из юзабилити-тестов

1. Метрики на уровне системы
2. Метрики на уровне задач
3. Несколько слов об интервалах достоверности (confidence intervals)

Отчет о результатах

Заключение

Делайте записи как стенографист

Первым делом вам следует научиться быстро делать записи, преследуя три цели:

1. Сосредоточить свое внимание на том, что делает и говорит участник, чтобы распознать важное.
2. Зафиксировать основные моменты, чтобы позже можно было легко восстановить их в памяти.
3. Минимизировать объем работ, который необходимо выполнить по завершении сессии (если это модерируемое тестирование) или после просмотра видео (если это немодерируемое тестирование).

Для достижения этих целей используйте технику «логи данных» (data logging). Для каждой подтемы придумайте свой буквенный код, например:

Б — для багов
Л — для изменений в лице
Н — для негативных высказываний участника
О — для отказа от задания или действия
П — для положительных высказываний участника
Р — для рекомендаций участника
Ю — для проблем с юзабилити, с которыми столкнулся участник

На этом этапе вы также можете добавить второй уровень категоризации. Например, текущая задача или вопрос может стать темой для добавления к вашей записи. Таким образом, «1Б» будет означать «баг, возникший во время выполнения задачи 1».

Наконец, каждая запись должна сопровождаться временной меткой, чтобы потом можно было легко вернуться к нужному моменту в видео.

Создайте качественный отчет из ваших заметок

Как только вы завершили исследование и добавили в свои записи временные метки, подтемы и темы, считайте, что ваш качественный отчет почти готов. Сгруппируйте свои заметки, включая видеоролики, по темам и подтемам.

Соответствующие инструменты помогут вам в создании этого вида отчета. При этом вам стоит учесть следующее:

1. Чем более тесная интеграция между вашим инструментом и заметками, тем лучше. Вам не придется копипастить десятки заметок.
2. Чем более тесная интеграция между инструментом и видеороликами, тем лучше. В противном случае вам придется копировать ссылки на них и вставлять их в отчет.
3. Чем больше возможностей поделиться, тем лучше. Видеоролики весят, как правило, довольно много. Гораздо проще поделиться ссылкой на них. Также очень удобно делиться ссылкой на отдельную тему, подтему или заметку по конкретному вопросу.

Вот пример качественного отчета, выполненного с помощью инструмента Searchness: 

Скриншот переведен на русский

Организация качественных данных в виде визуального отчета позволяет выявить проблемы с сайтом или приложением. Это особенно актуально для юзабилити-тестирования на ранней стадии.

Другим типом юзабилити-тестирования является суммативное тестирование (summative testing). Это тестирование сравнивает основные метрики с эталоном. Это может быть отраслевой стандарт (industry benchmark), желаемая цель для определенного набора метрик или сравнение с предыдущей версией продукта.

Создайте количественный отчет из юзабилити-тестов

Для начала определитесь с метриками, релевантными для вашего проекта и заказчиков отчета. Их можно разделить на две группы:

• Метрики на уровне системы
• Метрики на уровне задач

Рассмотрим каждую из этих групп.

1. Метрики на уровне системы

Шкала юзабилити системы (SUS)

SUS — это стандартная техника для измерения юзабилити, обладающая двумя преимуществами:

• Надежность. Это стандартизированный опрос, выдержавший проверку временем.
• Юзабилити видно как на ладони. Его легко измерить, понять и передать.

Оценка рассчитывается на основе ответов участников на 10 вопросов. Шкала ответов варьируется от 1 (абсолютно не согласен) до 5 (полностью согласен):

1. Думаю, что часто использовал бы этот сайт/продукт.
2. Сайт/продукт показался мне слишком сложной.
3. Сайт/продукт очень простой в использовании.
4. Думаю, что мне понадобится поддержка технического специалиста, чтобы использовать этот сайт/продукт.
5. Все функции на этом сайте/продукте хорошо интегрированы.
6. На этом сайте/продукте слишком много несоответствий.
7. Большинство людей очень быстро научатся пользоваться этим сайтом/продуктом.
8. Сайт/продукт очень громоздкий в ​​использовании.
9. Я чувствовал себя очень уверенно, используя эту систему.
10. Мне нужно было многое изучить, прежде чем я смог начать работать с этим сайтом/продуктом.

Используйте стандартный инструмент для проведения опроса (SurveyMonkey, Typeform, Survicate, Qualtrics), а затем экспортируйте результаты в электронную таблицу и вычислите среднюю оценку по следующей формуле:

• Для нечетных пунктов — вычтите 1 из ответа участника.
• Для четных пунктов — вычтите ответ участника из 5.
• Суммируйте измененные ответы участника и умножьте сумму на 2,5.
• Вы получите оценку от 0 (F, или плохо) до 100 (A, или хорошо).
• Вычислите среднюю оценку по всем участникам.

Многие инструменты юзабилити-тестирования, такие как, например, TryMyUI, автоматически считают оценку:

Скриншот переведен на русский

Матрица опыта и ожиданий

Еще один способ получить представление о юзабилити на уровне системы — оценить разрыв между тем, насколько легкими представляются участникам задания до выполнения, и тем, какими они оказываются для них по факту.

Для этого попросите участников оценить задание до и после его выполнения по шкале от 1 (очень сложное) до 7 (очень легкое). Если оценка меньше 5, задание считается «не простым».

Сравните ответы «до» (ожидание участника) и «после» (опыт участника) и отобразите их на точечной диаграмме.

Как анализировать ответы:

1. Более легкие, чем ожидалось, задания могут стать сравнительным преимуществом вашего продукта при продвижении его в маркетинговых материалах.
2. Более сложные, чем ожидалось, задания должны получить приоритет в списке изменений.
3. Задания, которые, по ожиданиям участников, должны были быть трудными, и они такими и оказались, дают возможность удивить пользователей.
4. Задания, которые, по ожиданиям участников, должны были быть легкими, и они такими и оказались, следует оставить в покое: они выполняют свою работу.

Для сбора ответов участников используйте стандартные инструменты опроса, а для их визуализации — электронную таблицу. Также вы можете прибегнуть к специальным инструментам, таким как TryMyUI или Searchness, которые сделают все это автоматически.

Вот пример отчета, выполненного с помощью инструмента TryMyUI: 

Скриншот переведен на русский

2. Метрики на уровне задач

Показатели выполненных работ и провалов (completion and failure rates)

Есть три типа показателей выполненных работ:

1. Общий показатель выполненных работ. Это процент участников, выполнивших задачу тем или иным образом.
2. Показатель выполненных работ ожидаемым путем. Процент участников, выполнивших задачу, следуя ожидаемому пути.
3. Показатель выполненных работ неожиданным путем. Процент участников, выполнивших задание, используя шаги, которые вы не ожидали или о которых не знали. Это отличный способ раскрыть проблемы юзабилити или их возможности.

Вручную определить шаги на бумаге, просмотреть записи и вычислить все — непростая задача. Используйте для этого инструменты.

Например, в UserTesting.com вы можете использовать функцию Пути клика (click paths), а в Searchness для получения метрик вы визуально определяете шаги:

Скриншот переведен на русский

Противоположность показателя выполненных работ — это частота провалов (failure rate). Посмотрите на частоту провалов на каждом из ваших ожидаемых путей, чтобы определить, где люди испытывают больше всего трудностей.

Потерянность (Lostness)

Показатель потерянности измеряет, насколько участник чувствует себя потерянным во время выполнения задания.

Разработанная Патрицией Смит (Patricia Smith) в 1996 году метрика учитывает минимальное количество страниц, необходимых для выполнения задачи, а затем сравнивает его с фактическим количеством посещенных участником страниц.

Результатом является оценка от 0 до 1. Чем ближе оценка к 1, тем больше участник был потерян (и наоборот). Участник считается потерянным, если оценка равна или выше 0,4.

Точная формула выглядит так: 

L — показатель потерянности
N — количество посещенных уникальных страниц
S — общее количество посещенных страниц (включая несколько посещений одной и той же страницы).
R — минимальное количество страниц, необходимое для успешного выполнения задачи

Несколько инструментов, включая Loop11 и Searchness, помогут автоматически вычислить показатель потерянности.

Продолжительность (Duration time)

Последняя обязательная метрика — это среднее время выполнения каждой задачи. Большинство инструментов удаленного юзабилити-тестирования измеряют ее за вас. Одно предостережение: продолжительность может быть искажена несколькими медлительными участниками.

Медлительные участники могут значительно повлиять на продолжительность, если она рассчитана с использованием среднего арифметического. Для небольших выборок (≤25) лучше всего использовать среднее геометрическое. Для больших же выборок (> 25) лучшим способом вычислить ее будет медиана.

3. Несколько слов об интервалах достоверности (confidence intervals)

Теперь, когда вы получили нужные вам метрики, готовы ли вы включить их в отчет и поделиться ими со своими коллегами? Пока еще не совсем. Юзабилити-тестирование дает не так много данных, как аналитика, но это не значит, что вы не можете провести строгий статистический анализ.

Юзабилити-тестирование имеет дело с репрезентативной выборкой вашей целевой аудитории. Тем не менее, это всего лишь выборка. Как вы можете быть уверены, что показатели выполненных работ 20 участников будут такими же для 20 000 пользователей?

Даже при небольших размерах выборки стоит подтвердить эту неопределенность с помощью интервалов достоверности. Интервал достоверности (обычно 95%) представляет собой «оценочный диапазон значений, который может включать неизвестный демографический параметр и который определяется на основе имеющихся данных выборки».

Представим, что во время юзабилити-тестирования с 25 участниками вы получили показатель потерянности 0,1. С интервалом достоверности потерянности от 0,0 до 0,3 вы можете сказать, что, если бы вы измерили всю вашу целевую аудиторию, показатель потерянности, вероятно, оказался бы в пределах этого интервала.

Однако, если размер вашей выборки слишком мал, вы получите огромный интервал, способный включать даже весь диапазон результатов:

Скриншот переведен на русский

Во время юзабилити-тестирования есть четыре случая, которые стоит учесть для интервалов достоверности:

• Показатели выполненных работ;
• Оценки опросов, такие как SUS и SEQ;
• Продолжительность для выборок малых размеров (≤25);
• Продолжительность для выборок больших размеров (>25).

Самый быстрый и простой способ получить интервалы достоверности — с помощью инструмента, который сделает это за вас.

Отчет о результатах

Когда вы будете делиться результатами юзабилити-тестирования со своей командой, выбирайте только те из них, которые вдохновляют на изменения и способны увеличить эффективность конкретного отдела.

В разговоре с руководителем вам, вероятно, лучше сосредоточиться на количественных метриках и тестах, предлагающих общую картину и помогающих принять важные решения.

С продакт-менеджером вы можете сосредоточиться на качественных данных, особенно на видеороликах и цитатах участников, демонстрирующих ощутимые проблемы, чтобы расставить приоритеты для будущих спринтов развития.

Лучший способ заставить людей серьезно отнестись к проблеме — это сделать устную презентацию с несколькими видеороликами, в которых участники вновь и вновь сталкиваются с одной и той же проблемой.

Вспомните знаменитую цитату Сент-Экзюпери: «Совершенство достигается не тогда, когда нечего добавить, а тогда, когда нечего убрать». Проще говоря, постарайтесь ограничить все презентации пятью результатами. Все остальное поместите в приложение.

Заключение

Ценность юзабилити-тестирования частично зависит от того, насколько быстро вы переводите тесты в убедительные данные. Инструменты помогут ускорить этот процесс, но важно знать, как эти инструменты вписываются в него:

1. Используйте технику «логи данных», чтобы ускорить ведение заметок.
2. Держите заметки и ссылки под рукой и делитесь ими в своих качественных отчетах.
3. Автоматизируйте вычисление метрик на уровне системы и задач для оперативного создания количественных отчетов.
4. Проведите краткие индивидуализированные презентации, вдохновляющие на изменения.

Если ваша программа тестирования еще не обеспечивает ни одного из этих пунктов, попробуйте добавить одну технику или инструмент в следующем раунде.

Высоких вам конверсий!

По материалам: conversionxl.com