Калькулятор SUS: оценка юзабилити по System Usability Scale

System Usability Scale (SUS) — анкета из десяти утверждений, которую Джон Брук создал в Digital Equipment Corporation в 1986 году и опубликовал в 1996-м как «быструю и грубую» шкалу юзабилити. Она стала самым распространённым стандартизированным опросником удобства: бесплатна, не зависит от технологии, заполняется за минуту и работает на небольших выборках.

Участник оценивает каждое утверждение от 1 (совершенно не согласен) до 5 (полностью согласен). Нечётные утверждения позитивные («Система показалась мне простой в использовании»), чётные — негативные («Система показалась мне излишне сложной»), поэтому они считаются в противоположных направлениях:

SUS — не процент. Балл 75 не означает «удобно на 75 %». Чтобы его интерпретировать, нужно сравнение с другими продуктами — для этого и нужны процентили и оценки.

Несколько респондентов

Балл считается для каждого респондента, затем баллы усредняются. Доверительный интервал строится по распределению Стьюдента, потому что выборки в SUS обычно маленькие:

Таллис и Стетсон (2004) показали, что SUS приходит к устойчивым выводам уже на 12–14 участниках — быстрее других сравнённых анкет. Даже на 5 участниках балл информативен, но интервал широк; калькулятор показывает его, чтобы не делать выводов из разницы в пару баллов.

О переводе. Анкета создавалась на английском. Формулировки в калькуляторе — аккуратный перевод, близкий к оригиналу; какой бы перевод вы ни выбрали, используйте один и тот же во всех замерах, иначе сравнение между раундами теряет смысл.

Джефф Сауро и Джеймс Льюис собрали данные SUS из сотен исследований. Средний балл — 68, это 50-й процентиль. Их шкала оценок с поправкой на распределение (curved grading scale), построенная по 241 промышленному исследованию, сопоставляет диапазоны баллов с буквенными оценками и процентилями:

Калькулятор показывает оценку для среднего балла и процентиль, линейно интерполированный внутри этих диапазонов. Балл 72,5 — это C+ и примерно 65-й процентиль: немного выше среднего, а не «хорошо на 72,5 %».

Словесная оценка. Бангор, Кортум и Миллер (2009) добавили к анкете седьмой, дополнительный вопрос — описать продукт одним словом — и посчитали средний SUS для каждого варианта: хуже некуда — 12,5, ужасно — 20,3, плохо — 35,7, терпимо — 50,9, хорошо — 71,4, отлично — 85,5, лучше не бывает — 90,9. Калькулятор выбирает вариант с ближайшим средним. Те же авторы предложили зоны приемлемости: ниже 50 — неприемлемо, 50–70 — пограничная зона, выше 70 — приемлемо.

Удобство и освоение

Льюис и Сауро (2009) обнаружили, что вопросы 4 и 10 — о помощи технического специалиста и о том, сколькому пришлось научиться, — образуют отдельный фактор освоения (learnability). Калькулятор переводит их в шкалу 0–100 (сумма двух вкладов × 12,5), а остальные восемь вопросов — в балл удобства (сумма × 3,125). Если удобство высокое, а освоение низкое, продукту обычно нужен онбординг получше, а не редизайн.

• Спрашивайте после задач, а не после демо. SUS измеряет воспринимаемое удобство опыта — участник должен сам поработать с продуктом.
• Сохраняйте формулировки и порядок. Изменённые утверждения, удалённые вопросы или другая шкала ломают сравнимость с базой. Заменять «систему» на «сайт», «приложение» или название продукта — принятая практика.
• Не убирайте негативные вопросы. Чередование тона — часть метода. Существует полностью позитивная версия (Сауро и Льюис, 2011) с близкими результатами, но не смешивайте версии в одном исследовании.
• Обрабатывайте пропуски явно. Распространённое правило — заменить один пропущенный ответ нейтральной тройкой, а респондентов с большим числом пропусков исключить. Калькулятор перечисляет пропущенные строки, чтобы решение было за вами.
• Сравнивайте, а не просто отчитывайтесь. SUS полезнее всего при сравнении версий, конкурентов или релизов. Если доверительные интервалы сильно пересекаются, разница не доказана — размер выборки поможет оценить калькулятор выборки.
• Смотрите на поведение. Низкое освоение и слабые вопросы 3, 7 и 10 часто указывают на проблему первого запуска. Метрики активации после улучшения онбординга покажут, сработало ли изменение.

SUS измеряет, насколько удобным люди считают продукт; NPS — готовы ли они его рекомендовать. Метрики связаны, но продукт может быть удобным и при этом не настолько ценным, чтобы его советовать.

1. Brooke J. SUS: A "quick and dirty" usability scale. In: Jordan P. W. et al. (eds.) Usability Evaluation in Industry. Taylor & Francis, 1996.
2. Sauro J., Lewis J. R. Quantifying the User Experience: Practical Statistics for User Research, 2nd ed. Morgan Kaufmann, 2016 — шкала оценок, средний уровень 68.
3. Bangor A., Kortum P., Miller J. Determining What Individual SUS Scores Mean: Adding an Adjective Rating Scale. Journal of Usability Studies, 4(3), 2009.
4. Bangor A., Kortum P. T., Miller J. T. An Empirical Evaluation of the System Usability Scale. International Journal of Human–Computer Interaction, 24(6), 2008 — зоны приемлемости.
5. Lewis J. R., Sauro J. The Factor Structure of the System Usability Scale. HCD 2009, LNCS 5619 — подшкалы удобства и освоения.
6. Tullis T. S., Stetson J. N. A Comparison of Questionnaires for Assessing Website Usability. UPA Conference, 2004 — размер выборки.