Перейти к основному содержимому

Метрики опросов: NPS, CSAT, CES, CSI и драйверы

Pollagram считает четыре продуктовые метрики и показывает, какие ответы тянут оценку вниз. Эта статья — и справка «куда нажимать», и методика: по каждой метрике разобран расчёт на реальных данных демо-опросов, шаг за шагом, чтобы цифру на плитке можно было проверить руками.

Формулы соответствуют общепринятой практике; там, где методика допускает варианты, явно сказано, какой выбран у нас и почему.

Как это устроено в кабинете

Настройка живёт в двух местах, и это не дублирование:

  • Свойства вопроса → вкладка «Аналитика»чем является этот вопрос: роль NPS / CSAT / CES / драйвер / важность / удовлетворённость. Выбор роли жёстко задаёт шкалу вопроса: NPS считается только по шкале 0–10, CSAT — по 1–5, CES — по 1–7.
  • Настройки опроса → вкладка «Метрики»что мы считаем и готово ли это: сводка «настроена / не настроена», сколько назначено CSI-пар и сколько вопросов помечено драйверами.

Значения появляются на вкладке «Аналитика» опроса и в PDF-отчёте.

Почему шкала жёсткая

Метрика на чужой шкале не «чуть менее точная» — она неправильная и при этом выглядит правдоподобно. NPS на шкале 1–5 нельзя сравнить ни с прошлым замером, ни с отраслевым бенчмарком: границы групп привязаны к одиннадцати делениям. Поэтому шкала приходит вместе с ролью и блокируется; нужна своя шкала — это не метрика, а обычный оценочный вопрос.

Порог достаточности выборки

Любая метрика показывается числом только начиная с 30 ответов. До порога плитка показывает прогресс набора («12 из 30»): на малой выборке значение — шум, который выглядит как факт. Порог един для всех метрик.


NPS — готовность рекомендовать

Вопрос: «Насколько вероятно, что вы порекомендуете нас?», шкала 0–10. Измеряет отношение к продукту в целом, а не к отдельному шагу пути.

Группы:

ОценкаГруппаЦвет в интерфейсе
0–6критики (detractors)красный
7–8нейтралы (passives)серый
9–10промоутеры (promoters)зелёный

Формула: NPS = %промоутеров − %критиков. Нейтралы не входят в числитель, но входят в знаменатель долей. Диапазон — от −100 до +100. Ориентиры: выше 30 — достойно, выше 50 — работает сарафанное радио, выше 70 — почти недостижимо.

Пример расчёта

Демо-опрос «Пульс команды: NPS», вопрос «Насколько вероятно, что порекомендуете нас коллегам?». Собрано 132 ответа:

Оценка2345678910
Ответов24471120203232

Шаг 1 — складываем группы:

критики    (0–6):  2 + 4 + 4 + 7 + 11 = 28
нейтралы (7–8): 20 + 20 = 40
промоутеры (9–10): 32 + 32 = 64
всего: 132

Шаг 2 — переводим в доли:

%промоутеров = 64 / 132 × 100 = 48,5 %
%критиков = 28 / 132 × 100 = 21,2 %

Шаг 3 — вычитаем:

NPS = 48,5 − 21,2 = 27,3  →  +27

Именно это число стоит на плитке, а под ним — состав групп, из которого складывался расчёт:

Плитка NPS с составом групп

Раскрыв вопрос в блоке «Разбор вопросов», видно то же распределение по делениям — столбики окрашены по группам, а под ними легенда с диапазонами:

Гистограмма NPS-вопроса с легендой групп

Ловушка: чужая шкала

Среднее по этим же ответам — 7,9. Соблазн назвать «7,9 из 10» индексом NPS велик, но это разные величины: NPS видит структуру (сколько недовольных против довольных), а среднее её прячет. Опрос с одними семёрками и опрос пополам из десяток и четвёрок дают одинаковое среднее и совершенно разный NPS.

CSAT — удовлетворённость

Вопрос: «Насколько вы довольны …?», шкала 1–5. Измеряет, доволен ли человек конкретным сценарием, который только что прошёл.

Формула (метод top-2-box): доля ответов 4 и 5 от всех ответивших.

CSAT = (кол-во 4 и 5) / (все ответы) × 100 %

Диапазон 0–100 %, типичный ориентир — около 76 %.

Пример расчёта

Демо-опрос «Оценка поддержки», вопрос «Насколько вы довольны ответом поддержки?». 79 ответов:

Оценка12345
Ответов3392143
довольных (4 и 5) = 21 + 43 = 64
CSAT = 64 / 79 × 100 = 81,0 % → 81 %
Ловушка: посчитать среднее

Среднее по этим же данным — 4,24 из 5, и выглядит оно даже приятнее. Но CSAT — это доля довольных, а не среднее. В опросе, где половина поставила 5, а половина 1, среднее даёт 3 («вроде нормально»), а CSAT — 50 % («половина клиентов недовольна»). Правда здесь вторая.

CES — оценка усилий

Вопрос: «Насколько легко было решить ваш вопрос?», шкала 1–7, где больше балл — легче (формулировка CES 2.0). Усилие предсказывает уход лучше, чем недовольство: среди тративших много усилий лояльность теряли почти все, среди тративших мало — единицы.

Формула: среднее арифметическое всех ответов.

Пример расчёта

Тот же демо-опрос, вопрос «Насколько легко было решить вопрос?». 71 ответ:

Оценка1234567
Ответов4447121525
сумма баллов = 1×4 + 2×4 + 3×4 + 4×7 + 5×12 + 6×15 + 7×25 = 377
CES = 377 / 71 = 5,31 → 5,3
Ловушка: перевёрнутая шкала

Метрика называется «оценка усилий», и интуиция подсказывает, что больше усилий — больше балл. Наоборот: больше балл — легче, единица означает «очень сложно». Перевёрнутая формулировка вопроса даёт зеркальный результат, который выглядит совершенно нормально.

CSI — взвешенный индекс удовлетворённости

CSI собирается из пар вопросов про один и тот же атрибут продукта: «насколько это для вас важно?» и «насколько вы этим довольны?». Роли так и называются — «Важность (пара для CSI)» и «Удовлетворённость (пара для CSI)»; пары связываются по порядку следования вопросов в опросе.

Формула:

CSI = Σ(Wᵢ × Sᵢ) / Σ(Wᵢ × Sᵢmax) × 100 %

где для каждой пары i: Wᵢ — средняя важность атрибута, Sᵢ — средняя удовлетворённость им, Sᵢmax — максимум шкалы вопроса-удовлетворённости. Важность работает весом: недовольство важным атрибутом бьёт по индексу сильнее, чем неважным. 100 % означает «максимально довольны всем, что важно».

Пример расчёта

Демо-опрос «Ценность продукта: CSI-пары», одна пара про скорость работы сервиса, обе шкалы 1–7.

Вопрос-важность «Насколько для вас ВАЖНА скорость работы сервиса?», 67 ответов:

Оценка4567
Ответов3121537

Вопрос-удовлетворённость «Насколько вы ДОВОЛЬНЫ скоростью работы сервиса?», 63 ответа:

Оценка234567
Ответов1101917124

Шаг 1 — средние по каждой стороне пары:

W (важность)       = (4×3 + 5×12 + 6×15 + 7×37) / 67 = 421 / 67 = 6,28
S (удовлетворён.) = (2×1 + 3×10 + 4×19 + 5×17 + 6×12 + 7×4) / 63 = 293 / 63 = 4,65

Шаг 2 — подставляем в формулу (Smax = 7):

CSI = (6,28 × 4,65) / (6,28 × 7) × 100 = 29,21 / 43,96 × 100 = 66,4 %  →  66 %

Плитка CSI на вкладке аналитики

Про нормировку весов

Классическая запись CSI использует доли важности: wᵢ = Wᵢ / ΣW. Наша формула даёт тот же результат: множитель 1/ΣW появляется и в числителе, и в знаменателе и сокращается. Важно другое — знаменатель Σ(Wᵢ × Sᵢmax): без него результат перестаёт быть процентом, и сравнить его ни с прошлым замером, ни с бенчмарком уже нельзя. Ориентиры по отраслям: софт ≈ 79 %, банки ≈ 81 %, интернет-ритейл ≈ 80 %.

Объём выборки индекса — минимум ответивших по вопросам пар (здесь 63, а не 67): индекс честен настолько, насколько его самая тонкая сторона.

Драйверы — почему оценка такая

Драйвер — вопрос-объяснение с ролью «Драйвер»: сам ничего не измеряет. Обычно это выбор варианта («Что сильнее всего влияет на оценку?») сразу после метрик-вопроса.

Расчёт: для каждого варианта берётся средняя оценка метрики среди сессий, выбравших этот вариант, и сравнивается с базовой линией — средней оценкой по всем ответившим. На графике варианты отсортированы «худшее первым», а столбик показывает отклонение: влево красным — вариант тянет метрику вниз, вправо зелёным — вверх.

Метрика для сравнения выбирается так: первая размеченная роль NPS/CSAT/CES в опросе; если ролей нет — первый оценочный вопрос (тогда подписи говорят про средний балл, а не про метрику).

Пример расчёта

Тот же демо-опрос «Пульс команды: NPS». Базовая линия — средняя оценка по всем 132 ответам: 7,9. Драйвер-вопрос «Что сильнее всего влияет на оценку?»:

ВариантВыбралиСредний NPS-баллОтклонение
Цена236,9−1,0
Скорость работы267,7−0,2
Поддержка258,0+0,1
Возможности408,5+0,6

Считается это так: берём всех, кто выбрал «Цена» (23 сессии), усредняем их оценки из первого вопроса — получается 6,9; вычитаем базовую линию 7,9 → −1,0. Значит, те, для кого главное цена, ставят на балл ниже среднего.

Диаграмма драйверов

При множественном выборе одна сессия честно попадает сразу в несколько вариантов, поэтому сумма «выбрали» может превышать число сессий.

Как читать драйверы

Это корреляция, а не причинность. «Выбравшие „Цену" ставят в среднем на 1,0 ниже» — повод разобраться с ценой, но не доказательство, что дело только в ней. К вариантам с маленьким числом ответов относитесь осторожно: разница в пол-балла на десяти ответах может быть случайностью.

Где всё это видно

  • Вкладка «Аналитика» опроса — плитки метрик с составом групп, воронка, разбор вопросов с легендой групп, блок «Драйверы», сегменты.
  • PDF-отчёт — кнопка «Выгрузить отчёт (PDF)» в шапке аналитики: те же цифры и графики в документе.
  • Настройки опроса → «Метрики» — что настроено и чего не хватает:

Вкладка «Метрики» в настройках опроса