Калькулятор adoption функции продукта

Feature adoption — насколько функция стала частью работы пользователей. Одной цифрой это не описать, поэтому смотрят на четыре измерения:

Adoption rate — доля в выборке, поэтому у неё есть погрешность. Калькулятор строит интервал Уилсона: он корректен и при маленьких числах, и при долях около 0 или 100 %. При 1 150 из 4 800 интервал 95 % — от 22,8 до 25,2 %, а при 23 из 96 (та же доля) — уже от 16,5 до 33,4 %.

Повторное использование — доля пользователей функции, которые применили её хотя бы в два разных дня. Высокий охват при низком повторном использовании означает, что функцию попробовали и бросили: интерес есть, ценности не хватило.

Время до первого использования

Сколько проходит от регистрации (или от выхода функции) до первого использования. Калькулятор считает медиану и 75-й перцентиль только по тем, кто уже воспользовался функцией, и отдельно — долю начавших в первые 7 и 30 дней от всех пользователей в выгрузке. Среднее здесь обманчиво: несколько человек, открывших функцию через два месяца, сильно его сдвигают.

Универсальной нормы нет: всё зависит от того, для кого функция. Экспорт в бухгалтерию нужен десятой части клиентов, а создание проекта — всем. Поэтому шкала в калькуляторе — это ориентиры для функции, задуманной для всех активных пользователей, а не отраслевой стандарт:

• меньше 10 % — функцию почти не находят или она решает редкую задачу;
• 10–30 % — нормально для продвинутой или нишевой функции;
• 30–60 % — функцией пользуется заметная часть аудитории;
• 60 % и выше — функция стала частью основного сценария.

Правильный знаменатель важнее границ. Если функция есть только на платном тарифе, считайте долю от платящих; если она нужна только администраторам — от администраторов. По данным отчёта Pendo о внедрении функций (2019), 80 % функций в типичном программном продукте используются редко или не используются вовсе. И чаще всего не потому, что они не нужны, а потому, что пользователи о них просто не знают. Поэтому низкий adoption — сначала вопрос заметности функции, а уже потом её ценности.

Сравнивайте функцию с ней самой во времени и с похожими функциями вашего продукта. Рост adoption после изменения интерфейса стоит проверить A/B-тестом — размер выборки подскажет калькулятор A/B-тестов.

Когда функция полезна, но ей мало пользуются, проблема обычно не в самой функции, а в пути к ней:

• Функцию не видно. Она спрятана в меню или появляется только в определённом состоянии. Подсказка рядом с местом, где функция нужна, работает лучше рассылки об обновлении.
• Непонятна польза. Название говорит, что функция делает, но не зачем. Короткий тур с примером результата отвечает на вопрос «что я получу».
• Показываете не тем и не тогда. Предлагать отчёты человеку, у которого ещё нет данных, бесполезно. Показывайте подсказку тем, кто выполнил предыдущий шаг, и не показывайте тем, кто уже пользуется.
• Первый запуск сложный. Если перед результатом нужно пять настроек, до конца дойдут немногие. Посмотрите, где теряются люди, в калькуляторе воронки и сократите путь в калькуляторе time-to-value.

Измеряйте эффект когортами: adoption у тех, кто увидел подсказку, против тех, кто не увидел, и повторное использование через 2–4 недели. Как функция влияет на удержание, покажет калькулятор retention.

Частые ошибки

• События вместо пользователей в числителе: один активный человек даёт сотни событий.
• Внутренние аккаунты и тестовые пользователи в данных завышают adoption новых функций.
• Пик после запуска. В первые дни функцию открывают из любопытства; устойчивый уровень видно через несколько недель.
• Слишком короткий период для функций, которые нужны раз в неделю или раз в месяц.

1. Pendo. The 2019 Feature Adoption Report — доля редко используемых функций в программных продуктах.
2. Croll A., Yoskovitz B. Lean Analytics: Use Data to Build a Better Startup Faster. O'Reilly Media, 2013 — метрики вовлечённости и выбор знаменателя.
3. Wilson E. B. Probable Inference, the Law of Succession, and Statistical Inference. Journal of the American Statistical Association, 22(158), 1927 — интервал для доли.
4. Hyndman R. J., Fan Y. Sample Quantiles in Statistical Packages. The American Statistician, 50(4), 1996 — расчёт перцентилей (тип 7).