Калькулятор NPS, CSAT и CES с погрешностью

Net Promoter Score (NPS), индекс потребительской лояльности, предложил Фред Райхельд в статье «The One Number You Need to Grow» в Harvard Business Review в 2003 году. Метрика строится на одном вопросе:

Ответы делятся на три группы: промоутеры (9–10) — лояльные клиенты, которые рекомендуют продукт; нейтралы (7–8) — в целом довольны, но легко уйдут к конкуренту; критики (0–6) — недовольны и могут отговаривать других. Индекс:

NPS измеряется в пунктах от −100 (все критики) до +100 (все промоутеры), а не в процентах. Нейтралы не входят в числитель, но входят в знаменатель: рост их доли за счёт промоутеров снижает индекс.

Net Promoter®, NPS® и Net Promoter Score® — зарегистрированные товарные знаки Bain & Company, Inc., NICE Satmetrix (Satmetrix Systems, Inc.) и Фреда Райхельда. Калькулятор — независимый инструмент и не связан с правообладателями.

NPS — разница двух долей из одной выборки, поэтому его погрешность больше, чем у каждой доли по отдельности. Если p_П и p_К — доли промоутеров и критиков, то дисперсия индекса в долях равна:

Для примера выше (0,6 и 0,167; n = 300) SE = 4,39, а 95-процентный интервал — от +34,7 до +51,9. Разброс в 17 пунктов при 300 ответах — нормальная картина, и это главное, что нужно помнить, читая отчёты: изменение NPS на 3–5 пунктов при нескольких сотнях ответов почти всегда укладывается в случайные колебания. В худшем случае, когда промоутеров и критиков поровну и нейтралов нет, погрешность при 95 % равна ±9,8 пункта на 400 ответов; чтобы сузить её до ±5, нужно 1 537 ответов.

Значимо ли изменился NPS

Для двух независимых замеров — например, двух кварталов с разными респондентами — разница проверяется z-тестом:

Если p-value меньше 1 − доверительная вероятность, изменение значимо. Если одни и те же люди отвечали оба раза, замеры зависимы и формула даёт слишком осторожный результат — для панельных опросов нужны парные методы.

CSAT — удовлетворённость

Customer Satisfaction Score отвечает на вопрос «Насколько вы довольны…» — обычно после конкретного взаимодействия: обращения в поддержку, покупки, завершения настройки. Стандартной формулировки у CSAT нет; чаще всего используют шкалу от 1 до 5 и считают долю довольных, то есть оценок 4 и 5:

Средняя оценка («4,2 из 5») тоже встречается, но хуже интерпретируется: одно и то же среднее дают и «все поставили 4», и «половина 5, часть 1». Для доли довольных калькулятор строит интервал Уилсона — при долях около 80–90 % обычный интервал «± погрешность» заметно врёт.

CES — усилия клиента

Customer Effort Score появился после статьи Мэттью Диксона, Карен Фриман и Ника Томана «Stop Trying to Delight Your Customers» (Harvard Business Review, 2010). Авторы утверждали, что лояльность сильнее связана с тем, насколько легко клиенту решить проблему, чем с попытками его «восхитить». Первая версия спрашивала, сколько усилий потребовалось, по шкале от 1 до 5. В книге «The Effortless Experience» (2013) описана вторая версия: согласие с утверждением «Компания позволила мне легко решить мой вопрос» по шкале от 1 до 7, где больше — легче. Калькулятор рассчитан на неё.

Кроме среднего, смотрите на долю оценок 1–3: это люди, которым было трудно, и именно их сценарии стоит разбирать в первую очередь.

Какую метрику выбрать

• NPS — отношение к продукту в целом. Спрашивайте не чаще раза в квартал у одного пользователя и не раньше, чем он получил ценность.
• CSAT — оценка конкретного момента: обращения, новой функции, шага настройки.
• CES — лёгкость задачи: онбординга, импорта данных, оплаты. Хорошо показывает, где интерфейс мешает.

NPS популярен благодаря простоте, но у метрики есть известные слабые места.

• Связь с ростом спорна. Исследование Кейнингема и соавторов в Journal of Marketing (2007) не подтвердило, что NPS предсказывает рост выручки лучше других показателей удовлетворённости.
• Потеря информации. Одиннадцать градаций превращаются в три группы: переход ответа с 0 на 6 не меняет индекс, а с 6 на 7 — меняет. Смотрите на распределение оценок, а не только на итоговое число.
• Сравнение с чужими цифрами. Уровень NPS сильно зависит от отрасли, аудитории, канала и формулировки вопроса. Мы не приводим «нормы» — честнее сравнивать продукт с самим собой в динамике при одинаковой методике.
• Самоотбор. Отвечают не все, и ответившие отличаются от молчащих. Погрешность на странице учитывает только случайную ошибку выборки — подробнее в калькуляторе выборки.

Когда спрашивать внутри продукта

Самая частая ошибка — показывать NPS при первом входе. Человек ещё ничего не сделал, и его оценка говорит о лендинге и ожиданиях, а не о продукте. Лучше:

• спрашивать после ключевого шага онбординга — первого созданного проекта, импорта данных, приглашённого коллеги;
• для CSAT и CES — сразу после события, которое оцениваете, пока впечатление свежее;
• не прерывать задачу: опрос после завершения действия, а не посреди формы;
• всегда добавлять открытый вопрос «Почему вы поставили такую оценку?» — цифра показывает, что происходит, а комментарии объясняют почему;
• ограничивать частоту: один и тот же человек не должен видеть опрос каждую неделю.

1. Reichheld F. F. The One Number You Need to Grow. Harvard Business Review, December 2003 — определение NPS.
2. Dixon M., Freeman K., Toman N. Stop Trying to Delight Your Customers. Harvard Business Review, July–August 2010 — Customer Effort Score.
3. Dixon M., Toman N., DeLisi R. The Effortless Experience: Conquering the New Battleground for Customer Loyalty. Portfolio/Penguin, 2013 — CES второй версии, шкала 1–7.
4. Keiningham T. L., Cooil B., Andreassen T. W., Aksoy L. A Longitudinal Examination of Net Promoter and Firm Revenue Growth. Journal of Marketing, 71(3), 2007 — критика NPS.
5. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — интервал для доли.
6. ISO 10004:2018. Quality management — Customer satisfaction — Guidelines for monitoring and measuring.