Доля обращений, которые закрываются без оператора, на живых внедрениях лежит в диапазоне 30–55% всего потока — при условии, что система имеет доступ в учётную систему. Без такого доступа, на одной базе знаний, диапазон вдвое уже: 25–35%. Цифры выше 60% от всего потока на практике не встречаются, и если они стоят в коммерческом предложении, почти всегда считают отправленные сообщения, а не решённые вопросы.
Главное, что нужно понять до разговора с подрядчиками: эта доля определяется структурой вашего потока, а не качеством бота. Одно и то же решение, собранное одной командой по одной методике, даёт у трёх компаний 35%, 48% и 54%. Различается только состав обращений. Поэтому спрашивать «сколько закрывает ваш бот» бессмысленно — правильный вопрос звучит «сколько закроется у меня», и ответ на него можно получить за неделю до подписания договора.
Ниже — методика подсчёта своего потолка, разбор четырёх типов обращений, честная арифметика разницы между «бот ответил» и «вопрос решён» и то, что реально поднимает долю после запуска. Устройство самой первой линии разобрано в опорной статье кластера, а что делает с деньгами ошибка в этой цифре — в расчёте окупаемости на трёх объёмах.
Три компании, одно решение, разная доля
Возьмём три модельные компании с потоком около 6 000 обращений в месяц. У каждой первая линия третьего уровня зрелости: база знаний с поиском плюс действия в учётной системе. Внутри каждого типа обращений доля автоматического закрытия одинаковая — это свойство технологии. Различается только то, из чего состоит поток.
| Тип обращений | Уходит без человека внутри типа | Интернет-магазин одежды | Сервис по ремонту оборудования | Оптовик с постоянными клиентами |
|---|---|---|---|---|
| Справочные | 75% | 38% | 22% | 30% |
| Транзакционные | 55% | 27% | 18% | 52% |
| Диагностические | 20% | 24% | 44% | 12% |
| Конфликтные и нестандартные | 0% | 11% | 16% | 6% |
| Потолок автоматизации | 48% | 35% | 54% | |
| Рабочая оценка на первый год | 43% | 30% | 49% |
Арифметика последних двух строк простая, её можно повторить на калькуляторе. Для интернет-магазина: 0,38 × 0,75 = 28,5%, плюс 0,27 × 0,55 = 14,85%, плюс 0,24 × 0,20 = 4,8%, плюс ноль по конфликтным. Сумма 48,15%, округляем до 48% — это потолок. Из потолка вычитаем 5 процентных пунктов на реальность: первые месяцы система работает хуже, чем выглядит на бумаге, потому что база знаний ещё не покрывает крайние случаи.
Разница между 35% и 54% — это девятнадцать процентных пунктов и, на потоке 6 000, больше тысячи обращений в месяц. Ни один подрядчик не может дать сервисной компании цифру оптовика: у сервиса 44% потока приходится на диагностические обращения, где надо разбираться, чинить и выезжать. Технология здесь ни при чём — при любом качестве исполнения диагностическое обращение уходит без человека максимум в двух случаях из десяти, и то обычно частично: система собирает данные и передаёт мастеру.
Три горизонтальные составные полосы, подписанные «интернет-магазин», «сервис по ремонту», «оптовик». Каждая полоса разбита на четыре сегмента с подписями долей: магазин 38/27/24/11, сервис 22/18/44/16, оптовик 30/52/12/6. Внутри каждого сегмента закрашена часть, уходящая без человека (75%, 55%, 20%, 0%). Справа от каждой полосы итог: 48%, 35%, 54%. Под рисунком подпись: «внутри типов проценты одинаковые — различается только состав». Чертёжный стиль, подписи по-русски.
Четыре типа обращений и что происходит внутри каждого
Разметка на четыре типа — не академическая классификация, а рабочий инструмент: по ней считается потолок и по ней же потом строится справочник тем обращений. Типов ровно четыре, потому что именно эти четыре ведут себя по-разному при автоматизации.
| Тип | Что это | Примеры | Уходит без человека | Почему именно столько |
|---|---|---|---|---|
| Справочные | ответ существует в письменном виде и не зависит от конкретного клиента | режим работы, условия гарантии, как оформить возврат, какие способы оплаты | 70–85% типа | ограничение — только полнота базы знаний; остаток приходится на нестандартные формулировки вопроса |
| Транзакционные | нужно посмотреть или изменить что-то в учётной системе | где мой заказ, перенести дату, отменить, оформить возврат, выставить счёт | 45–65% типа | зависит от числа реализованных действий: каждое действие — отдельная интеграция, обычно их 3–6, а не все |
| Диагностические | надо разобраться, что именно произошло, прежде чем отвечать | не работает, пришло не то, не подошло, не могу оплатить | 15–30% типа | чаще закрывается частично: система собирает данные, фото и историю и передаёт человеку подготовленный случай |
| Конфликтные и нестандартные | претензия, эмоция, требование компенсации, ситуация вне правил | верните деньги немедленно, вы сорвали сроки, буду жаловаться | 0% | автоответ здесь не бесполезен, а вреден: быстрый вежливый ответ читается как отписка |
Максимальная доля потока, которую система способна закрыть без человека при полностью заполненной базе знаний и доступе ко всем нужным действиям в учётной системе. Считается как взвешенная сумма по четырём типам. Это не обещание и не порог для договора — это верхняя граница, выше которой не поднимется никакое решение, потому что часть потока автоматизировать нельзя в принципе.
Нижняя строка таблицы — не осторожность, а расчёт. На конфликтных обращениях автоматический ответ ухудшает результат: клиент, который был готов к разговору, уходит писать отзыв. Поэтому конфликтные темы попадают в письменный список стоп-тем с переводом на оператора и в расчёт потолка входят с нулём. Попытка натянуть на них сценарий — самый дорогой способ поднять цифру в отчёте и уронить её в выручке.
Как посчитать свой потолок за неделю
Дорогое обследование потока заменяется ручной выборкой. Делается она силами самой поддержки, занимает неделю календарного времени и около десяти человеко-часов работы.
- 1Шаг 1. Взять 200 обращений подряд
Именно подряд за одну обычную неделю, а не отобранные: ночные, выходные, повторные, короткие — все. Отбор «показательных» случаев завышает долю сложного и занижает потолок. Неделя должна быть рядовой: не после распродажи, не в период сбоя, не праздничная.
- 2Шаг 2. Разметить по четырём типам двумя людьми независимо
Два размечающих, каждый по всей выборке, не сверяясь между собой. Расхождения обычно составляют 10–15% и разбираются вслух: именно эти спорные обращения показывают, где формулировки типов у вас нечёткие. Разметка одним человеком делает всю оценку неповторяемой.
- 3Шаг 3. По каждому обращению ответить на один вопрос
Закрыла бы это система, если бы имела базу знаний и доступ в учётную систему. Не «ответила бы вежливо», а именно закрыла: клиент получил решение и не вернулся. Спорные случаи считаются в пользу человека — так оценка получается консервативной, а не красивой.
- 4Шаг 4. Посчитать взвешенную сумму
Доля типа × доля закрываемых внутри типа, сложить по четырём типам. Получается потолок. Из него вычесть 5 процентных пунктов на первый год работы. Если поток сезонный, возьмите две недели в разных месяцах: при расхождении долей больше чем на пять пунктов считайте по худшей неделе.
- 5Шаг 5. Выписать десять самых частых конкретных вопросов
Обычно на них приходится 30–45% всего потока. Это первое, что должно быть покрыто базой знаний, и одновременно проверка серьёзности подрядчика: если он готов обсуждать проект, не спросив этот список, он планирует продать вам типовое решение.
Схема-конвейер из пяти блоков со стрелками: «200 обращений подряд» → «разметка двумя людьми, расхождения 10–15%» → «вопрос: закрыла бы система» → «взвешенная сумма минус 5 п.п.» → «потолок автоматизации». Под третьим блоком примечание «спорные считаем в пользу человека». Под четвёртым — формула: «0,38 × 0,75 + 0,27 × 0,55 + 0,24 × 0,20 + 0 = 48%». Сбоку рамка со стоимостью: «10 часов × 1 100 ₽ = 11 000 ₽». Чертёжный стиль, подписи по-русски.
«Бот ответил» и «вопрос решён»: разница в 26 пунктов
Здесь и живёт вся разница между рекламными и реальными цифрами. В отчётах любой системы есть метрика «обработано ботом» — доля диалогов, в которых система что-то отправила. Она всегда высокая и всегда бесполезная. Считать надо факт закрытия: клиент получил ответ, не вернулся с тем же вопросом в течение 72 часов и диалог не был передан человеку.
Обратите внимание на вторую строку: 900 передач человеку — это 15% потока, и это нормальный показатель. Здоровая доля переводов на оператора в первые месяцы — 10–20%, к полугоду она опускается до 10–15%. Снижать её ниже опасно: единственный способ быстро сократить передачи — понизить порог неуверенности системы, и тогда она начинает отвечать там, где не знает. Доля передач падает ровно настолько, насколько растёт доля неверных ответов.
Вертикальная воронка из пяти ступеней с числами: «отправлен ответ — 4 260 (71%)», минус «передано человеку — 900», минус «ответ „уточните вопрос“ — 420», минус «вернулся за 72 часа — 240», итог «закрыто без человека — 2 700 (45%)». Отсечённые части заштрихованы и подписаны. Слева от воронки вертикальная шкала в процентах от потока 6 000. Подписи по-русски.
От формулировки зависит и приёмка, и весь расчёт окупаемости. Рабочий вариант: обращение считается закрытым без оператора, если клиент получил ответ, не вернулся с тем же вопросом в течение 72 часов и диалог не был передан человеку. Не считается закрытием: отправка сообщения, ответ «уточните вопрос», перевод на оператора после трёх реплик. Разница между двумя определениями на модельном потоке — 26 процентных пунктов, то есть больше половины итоговой цифры.
Признаки завышенной цифры в коммерческом предложении
Шесть признаков, по которым обещание проверяется до подписания. Ни один из них не требует технических знаний.
- Названа одна цифра без указания базы. «Закроем 70%» — от чего? От типовых обращений это 45% всего потока и реалистично. От всего потока — не встречается на живых внедрениях. Разница между двумя базами обычно составляет около 20 процентных пунктов.
- Цифра выше 55–60% от всего потока. Верхняя граница практики — примерно 54%, и то у компаний с преобладанием транзакционных обращений. Всё, что выше, означает либо другую базу счёта, либо метрику «обработано ботом».
- Нет письменного определения закрытия. Если в предложении стоит «обработано ботом» или «автоматизировано», считают отправленные сообщения. Требуйте формулировку с 72 часами.
- Цифра названа до того, как подрядчик увидел ваш поток. Доля определяется составом обращений, а состав подрядчик знать не может. Названная заранее цифра — это оценка среднего по рынку, выданная за прогноз по вам.
- Обещание не привязано к уровню интеграции. Без доступа в учётную систему выше 35% всего потока не бывает: транзакционные обращения останутся людям. Если в смете нет строки «действия в учётной системе», а в обещании стоит 50% — цифры не сходятся между собой.
- В договоре нет порога или он сформулирован как «стремиться к». Порог должен быть числом, ниже которого работа считается несданной, с указанием срока замера и размера контрольной выборки. Разумная схема — 25% на приёмке пилота и целевая доля через три месяца эксплуатации.
Что поднимает долю после запуска и на сколько
Стартовая доля — не окончательная. За первый год она растёт, но не за счёт настройки бота, как обычно ожидают, а за счёт четырёх других вещей. Ниже — сколько добавляет каждая, по нашей практике и в процентных пунктах от всего потока.
| Что делается | Добавляет | Срок | Во что обходится |
|---|---|---|---|
| Доступ в учётную систему: статус, перенос даты, возврат, счёт | +12–18 п.п. | 3–5 недель на действие | 40 000–120 000 ₽ за каждое действие |
| Разбор эскалаций и новые статьи по остановкам системы | +5–8 п.п. за первый квартал | постоянно | 12 часов в месяц, 13 200 ₽ |
| Чистка дублей и противоречий в базе знаний | +2–5 п.п. | 2–3 недели | 20 000–40 000 ₽ разово |
| Переформулировка статей под то, как клиенты спрашивают на самом деле | +2–4 п.п. | 2 недели | входит в сопровождение |
| Ревизия стоп-тем: снятие лишних запретов после месяца работы | +1–3 п.п. | 1 неделя | входит в сопровождение |
Складывать эти пункты нельзя — они пересекаются: часть обращений, которые откроет доступ в учётную систему, вы бы и так закрыли новыми статьями. Реалистичный суммарный рост за первый год — 10–15 процентных пунктов от стартовой доли, и только при условии, что кто-то действительно разбирает эскалации. Кто именно и сколько часов это занимает, мы разбирали в материале о том, кто ведёт базу знаний поддержки.
Ступенчатый график за 12 месяцев: по вертикали доля автозакрытия от всего потока, старт 30%, финиш 45%. Четыре подписанные ступени с указанием вклада: «доступ в учётную систему +12–18 п.п.» (месяцы 2–4, самая высокая ступень), «разбор эскалаций +5–8 п.п.» (растёт постепенно на всём отрезке), «чистка базы +2–5 п.п.» (месяц 6), «ревизия стоп-тем +1–3 п.п.» (месяц 7). Пунктиром показана сумма всех вкладов, сплошной — фактический рост, между ними подпись «пункты пересекаются». Подписи по-русски.
Когда высокой доли не надо добиваться
Стремление поднять процент любой ценой — отдельная и довольно дорогая ошибка. Есть три ситуации, где правильный ответ — остановиться на достигнутом.
- Когда рост доли достигается понижением порога неуверенности. Это самый простой способ улучшить отчёт и самый быстрый способ испортить продукт: система начинает отвечать там, где не знает. Доля неверных ответов должна оставаться ниже 2%, и она проверяется на выборке человеком, а не считается самой системой.
- Когда в потоке больше 40% диагностических и конфликтных обращений. Потолок здесь около 30%, и упираться в него дорого. Полезнее автоматизировать не ответ клиенту, а подготовку ответа для оператора: подсказка со ссылкой на регламент, собранная история, черновик письма. Эффект в часах сопоставимый, риск на порядок ниже.
- Когда следующая ступенька экономии всё равно не достигается. На потоке 6 000 обращений разница между долей 30% и 45% не меняет в деньгах ничего — экономия на людях появляется ступеньками, а не плавно. Прежде чем платить за рост доли, посчитайте, снимет ли этот рост целую ставку. Часто выясняется, что дешевле оставить как есть, и это нормальный ответ.
И последнее. Доля автозакрытия — метрика для инженера, а не для клиента. Клиенту всё равно, сколько процентов обращений закрыла система: ему важно, чтобы его собственный вопрос решился, а если не решился — чтобы человек нашёлся сразу и не заставил пересказывать всё заново. Что происходит, когда за процентом гонятся в ущерб этому, разобрано отдельно: почему бот раздражает клиентов.
Спрашивать «сколько закрывает ваш бот» — всё равно что спрашивать у продавца весов, сколько они показывают. Ответ зависит от того, что вы на них поставите.
