ГлавнаяИнструментыПродакт-менеджментКалькулятор CSAT и CES
Калькулятор CSAT и CES со сравнением периодов
Введите распределение оценок удовлетворённости (CSAT, 1–5) или лёгкости (CES, 1–7) — калькулятор посчитает долю довольных, среднюю оценку и их доверительные интервалы. Добавьте прошлый период, и он проверит, значимо ли изменились метрики или это шум.
—
Формулы. CSAT = (оценки 4 + оценки 5) / все ответы; интервал Уилсона. Разница периодов — z-тест для двух долей, разница средних — t-тест Уэлча.
—
Формулы. CES = средняя оценка на шкале 1–7 ± t · s / √n; «легко» — доля оценок 5–7. Разница периодов — t-тест Уэлча для средних и z-тест для долей.
Расчёт идёт в вашем браузере — введённые данные никуда не отправляются.
Как пользоваться
- Выберите метрикуCSAT — удовлетворённость конкретным взаимодействием по шкале 1–5. CES — насколько легко было решить задачу, шкала согласия 1–7.
- Введите распределениеСколько раз поставили каждую оценку — из отчёта сервиса опросов. Или вставьте список оценок, и калькулятор сам посчитает распределение.
- Добавьте прошлый периодТот же вопрос в прошлом месяце, до релиза или в контрольной группе. Периоды должны быть независимыми выборками.
- Прочитайте выводКалькулятор сравнит и долю довольных, и среднюю оценку, покажет интервалы разницы и p-value. Если интервал включает ноль, изменение не доказано.
Как считать CSAT: top-2-box и средняя оценка
CSAT (Customer Satisfaction Score) измеряет удовлетворённость конкретным моментом: обращением в поддержку, покупкой, завершением настройки. Самый распространённый способ — доля довольных, то есть оценок 4 и 5 на пятибалльной шкале («top-2-box»):
Средняя оценка («4,27 из 5») тоже полезна, но одна и та же средняя получается у очень разных распределений. Поэтому калькулятор показывает обе величины и распределение целиком. Для доли используется интервал Уилсона: при долях около 80–90 % обычная формула «доля ± погрешность» даёт заметно смещённые границы.
Если вам нужен общий индекс лояльности, а не оценка отдельного взаимодействия, посчитайте NPS в калькуляторе NPS — там есть и погрешность индекса, и сравнение периодов.
Как считать CES
CES (Customer Effort Score) показывает, насколько легко клиенту решить задачу. Метрика появилась после статьи Диксона, Фриман и Томана в Harvard Business Review (2010): лояльность сильнее связана с отсутствием усилий, чем с попытками «восхитить». Современная версия — согласие с утверждением «Компания позволила мне легко решить вопрос» по шкале от 1 до 7:
Помимо средней, смотрите на долю оценок 1–3: это люди, которым было трудно, и их сценарии стоит разбирать в первую очередь. CES особенно полезен после онбординга, импорта данных, оплаты — там, где интерфейс мешает сильнее всего.
Значимо ли изменились CSAT и CES
Когда CSAT вырос с 78 до 85 %, первый вопрос — не случайность ли это. Калькулятор проверяет две гипотезы независимо.
Разница долей: z-тест
Разница средних: t-тест Уэлча
Тест Уэлча не требует равных дисперсий в периодах и работает при разных размерах выборок. Оценки — порядковая шкала, и строго говоря средняя для неё условна; при сотнях ответов t-тест даёт надёжный результат, но разницу в 0,05 балла лучше не интерпретировать даже при p < 0,05.
Ограничения
- Периоды должны быть независимыми: разные респонденты или разные обращения. Если одни и те же люди отвечали дважды, нужен парный тест.
- Тест учитывает только случайную ошибку. Если в новом периоде опрос показывали в другом месте или другой аудитории, разница может быть в методике, а не в продукте.
- Не проверяйте значимость каждый день до «успеха»: при многократных проверках ложные срабатывания неизбежны. Сколько ответов нужно заранее, подскажет калькулятор выборки.
Источники
- Dixon M., Freeman K., Toman N. Stop Trying to Delight Your Customers. Harvard Business Review, July–August 2010 — Customer Effort Score.
- Dixon M., Toman N., DeLisi R. The Effortless Experience. Portfolio/Penguin, 2013 — CES на шкале 1–7.
- Welch B. L. The Generalization of “Student’s” Problem when Several Different Population Variances are Involved. Biometrika, 34(1/2), 1947 — t-тест для неравных дисперсий.
- Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927.
- ISO 10004:2018. Quality management — Customer satisfaction — Guidelines for monitoring and measuring.
Частые вопросы
Как посчитать CSAT?
Разделите число оценок 4 и 5 на число всех ответов по шкале от 1 до 5 и умножьте на 100 %. Например, 213 довольных из 250 ответов — CSAT 85,2 %.
Что такое top-2-box?
Доля ответов в двух верхних вариантах шкалы: для CSAT на шкале 1–5 это оценки 4 и 5. Метрика проще для интерпретации, чем средняя, и устойчивее к разным распределениям.
Как посчитать CES?
В версии со шкалой 1–7 CES — средняя оценка согласия с утверждением «Мне было легко решить вопрос». Дополнительно полезно считать долю оценок 5–7 («легко») и 1–3 («трудно»).
Как понять, что CSAT изменился значимо?
Сравните доли двух периодов z-тестом: если p-value меньше 0,05 (при доверительной вероятности 95 %) и интервал разницы не включает ноль, изменение значимо. Калькулятор делает это автоматически.
Какой тест использовать для разницы средних оценок?
t-тест Уэлча: он не предполагает равных дисперсий и подходит для выборок разного размера. Для порядковых оценок с малым числом ответов результат стоит дополнительно проверить по распределению.
Чем CSAT отличается от CES и NPS?
CSAT — удовлетворённость конкретным взаимодействием, CES — лёгкость решения задачи, NPS — готовность рекомендовать продукт в целом. CSAT и CES собирают сразу после события, NPS — реже, раз в квартал.
Сколько ответов нужно для сравнения периодов?
Зависит от разницы, которую нужно заметить. Чтобы с мощностью 80 % при уровне значимости 5 % заметить рост CSAT с 80 до 85 %, нужно около 900 ответов в каждом периоде; для роста с 80 до 90 % — около 200.
Ещё в разделе «Продакт-менеджмент»
- Калькулятор RICE и ICE
Какие задачи бэклога брать первыми по RICE или ICE?
- Матрица Эйзенхауэра
Что делать сейчас, что поставить в план с датой, а что не делать вообще — и влезает ли первое в неделю?
- SWOT-анализ с матрицей стратегий
Какие у продукта сильные и слабые стороны, возможности и угрозы — и какие решения следуют из их пересечения?
- Анализ опроса по модели Кано
Какие функции для пользователей обязательные, линейные, а какие — «вау»?
- Калькулятор эффекта активации
Сколько выручки принесёт рост активации?
- Калькулятор adoption функции
Сколько активных пользователей реально начали пользоваться функцией и как быстро?
- Калькулятор time to value
Сколько времени новым пользователям нужно до первой ценности и где они отваливаются?
- Калькулятор retention
Сколько пользователей остаётся через 1, 7 и 30 дней и что говорит кривая удержания?
- Калькулятор A/B-тестов
Значима ли разница между A и B и сколько пользователей нужно для теста?
- Калькулятор NPS, CSAT и CES
Какой NPS у этих ответов и какова погрешность?
- Калькулятор SUS
Какой балл SUS у интерфейса и хорошее ли у него юзабилити?
- Конструктор инструкции для нового сотрудника
Что сделать до выхода нового сотрудника, в первый день, неделю и месяц — и кто за это отвечает?
- Конструктор чек-листа
Как собрать чек-лист под повторяющуюся задачу — запуск, релиз, онбординг клиента — и ничего не забыть?
- Генератор технического задания
Что написать в техническом задании на доработку сайта, чтобы работу можно было принять без споров?