Возможно ли измерить KPI чат-бота?

Сегодня KPI применяют к любой рабочей единице, и это необязательно должен быть человек. В разных сферах бизнеса KPI измеряется по разному: у грузчика это количество килограмм груза в сутки, у продавца – сумма продаж в месяц. Можно сказать, что боты – это сотрудники нового поколения, к которым применим такой же метод оценки эффективности. В этой статье я расскажу, каким образом измеряется KPI чат-бота на примере бота одного из наших клиентов. Рассматриваемый период – ноябрь 2018

Пользователи

Всегда можно отслеживать общее количество пользователей за указанный период времени и сравнивать его с предыдущим периодом. Общее количество складывается из новых пользователей и вернувшихся. Число последних – очень полезная метрика. Она показывает, сколько пользователей повторно используют вашего чат-бота в сравнении с предыдущим периодом. Этот показатель особенно важен тем компаниям, у которых ежедневно большой поток посетителей на сайте или в приложении. Если он растет, значит ваши пользователи были удовлетворены ответом бота ранее и охотно выбирают новый канал коммуникации.

Диалоги

Можно отслеживать количество диалогов, входящих и исходящих сообщений за период, и сравнивать их с предыдущим. Среднее количество реплик в одном диалоге отражает его глубину. В примере выше мы видим, что в среднем один пользователь пишет 3,79 реплики за один диалог. Но количество не всегда указывает на качество. Можно провести аналогию с метрикой просмотров страниц вашего веб-сайта: ее учитывают, но сама по себе она не дает понимания качества вашего продукта. Поэтому нужно анализировать следующий показатель.

Оценка диалога

В конце диалога пользователю предлагают его оценить. Например, чат-бот пишет «Остались ли вы довольны ответом?» Бот предлагает выбрать ответ из нескольких вариантов: «Я спрашивал про другое», «Я не понял ответа», «Ответ не решил проблему». Исходя из ответа, вы можете выявить причину отрицательной оценки, проанализировав историю этого диалога. Также степень вовлеченности пользователя отражает время, проведенное в диалоге.

Нераспознанные реплики

Иногда чат-боты путаются, и это нормально. Это чаще всего происходит при нетипичных входящих запросах, тех, ответы на которые не заложены в базу знаний бота. Есть два решения для таких ситуаций.

1. Просто сообщить пользователям, что мы его не понимаем, например так: «Извините, я вас не понял. Можете задать вопрос по другому?» Обычно это срабатывает. Но если ситуация повторяется, можно сделать калибровку диалога. Чат-бот может сказать: «Извините, я вас не понял снова. Напоминаю, что я могу рассказать вам про то-то и то-то».
2. Запасной вариант всех запасных вариантов – люди. Человек необходим, чтобы взять совершенно произвольную ситуацию под контроль. Мы, например, делаем переключение на оператора «бесшовно», т. е. вообще незаметно для конечного пользователя.

Подобные ситуации также нужно отслеживать и стараться сокращать их, обучая вашего чат-бота новым знаниям, исходя из истории диалогов.

Переходы по внутренним ссылкам из чат-бота

Анализ этого показателя показывает, какие страницы из предложенных чат-ботом посещают чаще. Так можно изучать и формировать спрос пользователей на конкретные услуги или товары, и предлагать их в анонсах и нотификациях.

Нотификации

У чат-бота можно менять текст нотификации – уведомления. Например, у вас проходит какая-то акция, заходя на ваш сайт, чат-бот будет приветствовать пользователя и предлагать ознакомиться с акцией, перейдя по ссылке. Эффективность нотификации измеряется количеством кликов.

Темы диалогов

Все исходящие реплики категоризируются по темам. Анализ количественного распределения сообщений позволяет отслеживать наиболее востребованные темы и совершенствовать их. Например, если возникает резкий всплеск по теме «Проблемы», это является сигналом, что там что-то не так.

KPI=NPS

Чат-бот является удобным инструментом для проведения опроса и расчета показателя NPS. NPS – это индекс потребительской лояльности, т. е. оценка лояльности пользователей по отношению к продукту и компании. Обычно такой опрос проводят посредством email-рассылок, звонков, всплывающих окон и т. д. С чат-ботом проводить такую оценку удобнее и быстрее. Он самостоятельно делает расчет по следующей формуле:

В личном кабинете чат-ботов «Наносемантики», к примеру, он отражается вот так:

В завершение хотелось бы добавить, что обо всем вышесказанном стоит задуматься еще на стадии разработки чат-бота. Для него также как для настоящего сотрудника, нужно ставить бизнес-цели и прописывать пути их достижения.

Фото: pixabay