Как измерить эффект автоматизации и не обмануть себя

Через полгода после запуска обязательно наступает разговор, в котором подрядчик показывает слайд с ростом, а собственник спрашивает, откуда взялась цифра. И выясняется, что до старта никто не записал, сколько времени занимала одна операция, сколько их было в месяц и во сколько обходилась каждая. Спорить не о чем: доказать эффект нечем, опровергнуть — тоже.

Проигрывают в этом разговоре обе стороны. Подрядчик не может показать результат и теряет продолжение работы. Заказчик не понимает, платить ли дальше за поддержку и стоит ли трогать соседний участок. При этом система вполне может работать отлично — просто эффект не зафиксирован, а память устроена так, что прошлое всегда вспоминается спокойнее, чем было.

Ниже — методика, которой мы пользуемся сами: что снять до старта, как считать после, как отделить вклад системы от сезонности и рыночного роста и по каким признакам честно сказать, что эффекта нет. Специальных инструментов не потребуется: хватает выгрузок из систем, которые у вас уже есть, секундомера и одной таблицы.

Нет замера до — нет доказательства после

Правило выглядит банальным ровно до момента, когда его нарушили. Восстановить базу задним числом почти невозможно. Журналы систем хранят события, но не хранят, сколько времени человек на них тратил. А через полгода люди уже не помнят, как работали раньше, и добросовестно называют цифры, удобные для их позиции в споре: сотрудник, которому автоматизация не нравится, вспомнит, что справлялся за пять минут, а тот, кто её продвигал, вспомнит двадцать. Оба не врут.

У замера до старта есть и вторая задача, менее очевидная: он заставляет договориться, что считается результатом, пока деньги ещё не потрачены. По нашей практике примерно каждый третий проект на этом этапе меняет форму — выясняется, что узкое место не там, где предполагали, или что метрика, ради которой всё затевалось, уже год как в норме, а болит соседняя. Час на согласование формул экономит месяцы работы над не тем.

Что снимать до старта и где взять цифры

Полный список ниже, но брать все семь не нужно. Рабочий набор — три-четыре метрики: одна операционная (время или доля ручного труда), одна денежная (стоимость операции), одна клиентская (скорость реакции или конверсия) и одна контрольная — та, которая не должна ухудшиться. Больше пяти метрик не поддерживает никто дольше двух месяцев, и к моменту замера половина оказывается не собрана.

• Время операции. Медиана по 20–30 замерам, а не среднее и не оценка на глаз: среднее вытягивают редкие тяжёлые случаи, а оценка на глаз расходится с секундомером в полтора-два раза, причём в обе стороны. Рядом с медианой записывайте верхнюю границу — время, в которое укладываются девять операций из десяти. Автоматизация обычно сначала съедает именно хвост: медиана сдвигается на 20%, а хвост — вдвое.
• Объём операций. Число заявок, документов, звонков, отгрузок в месяц: медиана по 6–12 месяцам плюс сам помесячный ряд. Ряд нужен не для расчёта, а чтобы увидеть сезонность и разброс. Если объём месяц к месяцу гуляет на ±20%, прирост в 10% после запуска не значит ничего.
• Ошибки и переделки. Доля операций, которые пришлось исправлять, и стоимость одного исправления в часах. Источник — журнал сверок, рекламаций, возвратов, исправительных документов. Метрика неудобная: она всегда занижена, потому что фиксируются только замеченные ошибки. Но занижена одинаково до и после, поэтому для сравнения годится.
• Доля ручного труда. Какой процент операций проходит от начала до конца без участия человека. Самая честная метрика проекта: её нельзя улучшить рассказом. Если через три месяца после запуска доля ручного труда не упала, эффекта нет — независимо от того, что показывают остальные графики.
• Стоимость одной операции. Часы, умноженные на полную стоимость часа, плюс прямые расходы, делённые на объём: рублей за документ, за звонок, за обработанную заявку. Единственная метрика, которая переживает рост объёма. Когда поток вырос на 15%, часы и штуки сравнивать уже нельзя, а рубли за операцию — можно.
• Скорость реакции. Время от события до ответа: от заявки до первого контакта, от письма до ответа, от заказа до отгрузки. Снимайте медиану и долю случаев, уложившихся в норматив. Средняя скорость реакции — самая бесполезная цифра в отчётах: одна заявка, забытая на трое суток, портит её целиком.
• Конверсия. Доля обращений, дошедших до целевого действия: до сделки, до записи, до оплаты. Метрика самая ценная и самая чувствительная к внешним факторам — её нельзя интерпретировать без контрольной группы или как минимум без сравнения с тем же периодом прошлого года.

Теперь о том, где взять эти цифры, если раньше ничего не измеряли. Отсутствие управленческого учёта — обычная ситуация и не препятствие. Часть цифр уже лежит в системах, остальное добирается двухнедельным замером. Порядок такой: сначала выгрузки, потом хронометраж, и только то, что не закрылось ни тем ни другим, — реконструкция от результата. Там, где получается вилка, берите границу, невыгодную для проекта: заниженный объём, заниженное время, завышенную долю ручной работы, которая останется после внедрения. Эффект, доказанный на пессимистичной базе, потом никто не оспорит.

1. 1День первый: выбрать три-четыре метрики и записать формулу каждой одним предложением, с указанием числителя, знаменателя и источника. Формулировка «скорость обработки» не годится. Годится: медианное время от создания заявки в CRM до первого исходящего контакта, по всем заявкам месяца, кроме отменённых.
2. 2Дни первый и второй: выгрузить из систем историю за 12 месяцев. Именно двенадцать, а не три: на трёх месяцах не видно сезонности, а потом именно она съест половину спора об эффекте.
3. 3Дни второй и третий: хронометраж. Один-два сотрудника, 20–30 однотипных операций подряд, секундомер, запись каждой. Заранее скажите, что замеряют процесс, а не человека, иначе цифры уедут в сторону героизма и база окажется недостижимо хорошей.
4. 4Дни с третьего по восьмой: сплошной замер по журналу. Дата, операция, старт, финиш, было ли исправление. Три-пять человек, одна общая таблица. Двух недель хватает, чтобы медиана перестала прыгать от новых строк.
5. 5День девятый: посчитать стоимость операции и отдельно зафиксировать контрольные метрики — жалобы, возвраты, доля ошибок. Они понадобятся, чтобы отличить рост производительности от ускорения за счёт качества.
6. 6День десятый: собрать одностраничный документ — метрики, формулы, значения, точные даты окна замера — и согласовать его с руководителем подразделения. Не ради бюрократии, а чтобы через год не выяснять, что имелось в виду под словом «заявка».

Две поправки, которые портят замер чаще всего. Первая: не снимайте базу в пиковый или в мёртвый месяц — декабрьские цифры оптовика и январские цифры строителя одинаково бесполезны. Если выбора нет, берите медиану года, а не окно. Вторая: сам факт наблюдения ускоряет работу примерно на 5–15%, люди подтягиваются, когда рядом лежит секундомер. Значит, база получится чуть лучше реальности — и это скорее хорошо: эффект посчитается консервативно.

Сезонность, рынок и другие причины, по которым цифры выросли сами

Главная методическая ловушка выглядит так: систему запустили в марте, к маю заявок стало на четверть больше, все довольны. Но у оптовой торговли стройматериалами май и без всякой автоматизации лучше февраля, а к сезону могли добавиться новый прайс, ушедший конкурент и три удачные рекламные недели. Приписать это системе — самый быстрый способ получить красивый отчёт весной и тяжёлый разговор осенью, когда сезон закончится, а цифры вернутся на место.

• Контрольная группа. Половина менеджеров, филиалов или смен работает по-старому 4–8 недель. Обе группы живут в одном сезоне и на одном рынке, поэтому разница приростов и есть эффект системы. Делить надо по признаку, не связанному с ценностью потока: по чётности идентификатора, по алфавиту, жребием. Разделение «включим тем, кто посговорчивее» гарантированно завысит результат.
• Параллельный запуск на доле потока. Когда людей делить нельзя, делится поток: система берёт каждую вторую заявку, остальные идут прежним маршрутом. Работает для звонков, писем, документов, заказов. Ограничение: сотрудники видят обе схемы и невольно подтягивают ручную ветку, так что эффект получится заниженным — что для доказательства даже удобно.
• Сравнение год к году в те же календарные недели. Ослабленный вариант для случаев, когда делить нечего: бухгалтерия в компании одна, склад один. Обязательно нормируйте на объём — сравнивайте не часы и штуки, а минуты на документ и рубли на операцию, иначе выросший поток объяснит всё сам.
• Контрольная метрика, на которую система влиять не может. Если после внедрения конверсия выросла не только там, где работает система, но и в отделе, которого проект вообще не касался, — вы измерили рынок, а не своё внедрение.

Разница между 184 000 и 355 000 ₽ — это не погрешность, а разница между отчётом и правдой. Причём контрольная группа не всегда играет против подрядчика. Бывает обратная ситуация: рынок в период замера просел, контрольная группа упала на 8%, а группа с системой осталась на месте. Это тоже эффект, и довольно ценный, но без контрольной группы его не видно вообще — отчёт покажет ноль и проект закроют.

Как обманывают себя чаще всего

• Считают только сэкономленные часы. Высвобожденный час превращается в деньги в трёх случаях: не наняли нового человека, убрали переработки, тем же составом обработали выросший объём. Если ничего из этого не произошло, эффект есть в презентации и отсутствует в отчёте о прибылях. Проверка простая: сравните строки ФОТ, аутсорса и переработок за квартал до и за квартал после.
• Забывают расходы на эксплуатацию. Токены языковых моделей, распознавание, телефония, хостинг, поддержка — обычно 5–15% стоимости внедрения ежемесячно. Плюс своё время: администратор, который правит справочники, и руководитель, который разбирает исключения, тратят по нашей практике 8–20 часов в месяц в первый год. Это тоже деньги, и в честном расчёте они вычитаются.
• Приписывают системе рыночный и сезонный рост. Лечится контрольной группой или сравнением год к году с нормировкой на объём. Не лечится ничем другим: ни уверенностью, ни опытом, ни графиком с вертикальной чертой в день запуска.
• Двигают границы окна. Сравнивать провальный февраль до внедрения с удачным сентябрём после — это выбор результата, а не измерение. Длина и календарное положение обоих окон фиксируются до старта: например, восемь недель до и восемь недель после, начиная с третьего месяца эксплуатации.
• Считают эффект с первого дня. Первые один-три месяца система выходит на режим: правятся сценарии, вскрываются исключения, люди привыкают. Замер в этот период занижает результат, а обещание эффекта с первой недели — завышает. Мерить надо третий-четвёртый месяц, а первые два закладывать как нулевую экономию.
• Смотрят только на метрики, которые улучшились. В любом проекте что-то проседает: вырастает время на разбор исключений, появляются жалобы на формальные ответы, добавляется работа по сопровождению справочников. Отчёт без раздела о том, что стало хуже, — это не отчёт, а презентация, и первый же въедливый вопрос это вскроет.

В этом расчёте важны две строки. Первая: 253 высвобожденных часа — это около 1,7 ставки, но в эффект попали только 1,5, по которым действительно не продлили договоры. Оставшиеся 0,2 ставки размазаны по отделу тонким слоем, в расходах их не видно, поэтому в расчёт они не идут. Вторая: 12 часов своего времени на сопровождение выглядят мелочью, но это единственная строка, о которой стороны спорят задним числом, потому что заранее её никто не обсуждал. Обсудите заранее.

Шаблон отчёта об эффекте

1. 1Что измеряли. Три-четыре метрики с формулами — слово в слово теми же, что были записаны до старта. Любая правка формулы после запуска обесценивает весь отчёт.
2. 2Как измеряли. Источник каждой цифры: выгрузка из такой-то системы за такие-то даты, хронометраж такого-то числа операций, журнал сверок. Цифра без источника в отчёт не попадает.
3. 3База. Значения до, точные даты окна и разброс месяц к месяцу. Без разброса невозможно понять, значим ли сдвиг вообще.
4. 4Факт. Те же метрики за окно той же длины, начиная с третьего месяца эксплуатации.
5. 5Поправка на внешние факторы. Контрольная группа, параллельный поток или сравнение год к году: сколько процентных пунктов роста вычли и на каком основании.
6. 6Деньги. Твёрдая часть — снятые с ФОТ ставки, отменённый наём, убранные переработки, подтверждённые по отчёту о прибылях. Минус эксплуатация, минус своё время. Мягкая часть — возвращённые заявки, ускорение цикла, снижение зависимости от людей — отдельной строкой и без смешивания с твёрдой.
7. 7Что не подтвердилось. Метрики, которые не сдвинулись или ухудшились, и рабочая гипотеза почему.
8. 8Решение и дата следующего замера. Расширять, оставить как есть, сузить или свернуть. Весь отчёт помещается на две страницы: если он занимает двадцать слайдов, в нём, скорее всего, нет ни одного числа, которое кто-то готов защищать.

Когда честно признать, что эффекта нет

Отрицательный результат — нормальный исход измерения, и он дешевле любого другого, если признан вовремя. Есть три признака, которые видны уже на третьем-четвёртом месяце. Первый: сдвиг метрики меньше её собственного разброса до старта — если время обработки месяц к месяцу гуляло от 5,5 до 7,5 минуты, то 6,1 после запуска это шум, а не результат. Второй: эффект есть в часах, но за два квартала не появился ни в ФОТ, ни в объёме — значит, высвобожденное время растворилось. Третий: доля ручного труда не упала, люди по-прежнему ведут параллельный учёт в своей таблице, а систему заполняют по вечерам для отчётности.

Дальше есть три честных хода, и все они лучше защиты расчёта. Сузить задачу до участка, где эффект измерим, и перезамерить через два месяца. Оставить систему как инфраструктуру, если она даёт прозрачность и управляемость, но перестать называть это экономией — смешение двух обоснований разрушает доверие к следующему проекту сильнее, чем сам провал. Или свернуть и вернуться к теме через год с другой задачей. Стоимость честного отказа — один месяц и неприятный разговор. Стоимость его отсутствия — год поддержки системы, которой никто не пользуется, и репутация автоматизации в компании, испорченная на несколько лет вперёд.

Автоматизация, эффект которой нельзя показать двумя числами до и двумя после, живёт ровно до первого пересмотра бюджета. Не потому, что она плохая, — потому, что её некому защитить цифрами.