Чтобы понять, пользуются системой или отчитались о внедрении, нужны пять чисел, и все пять снимаются из штатных выгрузок за один рабочий день одного человека: доля операций, реально прошедших через систему; полнота обязательных полей; задержка между событием и записью о нём; доля пользователей, делающих в системе содержательные действия; доля операций, у которых остался след вне системы. Покупать аналитику для этого не нужно — хватает журнала действий, выгрузки в таблицу и одного независимого источника, с которым эту выгрузку можно сверить.
Спорить без этих чисел бесполезно. Руководитель говорит «систему внедрили», сотрудник говорит «мы в ней работаем», и оба искренни: акт подписан, входы в журнале есть, поля заполнены. Проблема в том, что все три утверждения могут быть верны одновременно с тем, что половина работы идёт мимо системы, а данные в ней восстановлены по памяти в пятницу вечером и для решений не годятся.
Ниже — что именно ловит каждая метрика, как снять её из логов и выгрузок, какие пороги отделяют прижившуюся систему от формально работающей, во что обходится разрыв между отчётом и фактом и как уложить регулярный замер в одну страницу раз в месяц. Все числа — из модельного примера: оптовая компания на 45 человек, отдел продаж из 9 менеджеров, CRM запущена четыре месяца назад, проект стоил 850 000 ₽, поддержка 25 000 ₽ в месяц и девять пользовательских лицензий по 1 190 ₽.
Отчёт о внедрении и факт использования — разные документы
Отчёт о внедрении отвечает на вопрос «сделали ли мы то, что обещали»: настроены роли, перенесены справочники, работают интеграции, обучены пользователи, подписан акт. Это честный документ, и подрядчик обязан его закрыть. Но он описывает состояние системы, а не состояние процесса. Использование — это другой вопрос: какая доля реальной работы проходит через систему и годятся ли получившиеся данные для решений.
Доля реальной работы участка, которая проходит через систему и оставляет в ней пригодные для использования данные. Измеряется не в момент запуска, а на регулярной основе: первый замер — на третий месяц, дальше раз в месяц. От «внедрённости» отличается тем, что подтверждается выгрузками, а не подписью.
Разница между этими двумя документами и есть то место, где деньги теряются тихо. Крайнюю стадию расхождения мы разбирали отдельно в материале про зомби-систему: там речь о решении, через которое идёт меньше трети потока, и о трёх сценариях выхода, включая честное списание. Здесь задача другая — не дать до этого дойти. Поэтому и пороги ниже строже: 70 % потока отделяют живую систему от мёртвой, а 90 % отделяют прижившуюся от формально работающей.
Сравнение в две колонки. Левая — «Акт о внедрении, подписывается один раз»: настроены роли, перенесены справочники, работают интеграции, проведено обучение, система доступна. Правая — «Замер использования, раз в месяц»: доля операций в системе, полнота обязательных полей, задержка между событием и записью, доля активных пользователей, доля обходных путей. Под левой колонкой подпись «отвечает: сделали ли то, что обещали», под правой — «отвечает: идёт ли через это работа». Внизу общая строка: «в модельном примере акт закрыт, а через систему проходит 56 % операций». Чертёжный стиль, подписи по-русски.
Пять метрик и что ловит каждая
Метрики подобраны так, чтобы каждая ловила свой вид отказа и ни одна не дублировала соседнюю. Первая ловит обход, вторая — формальное заполнение, третья — восстановление данных задним числом, четвёртая — мёртвые доступы, пятая — параллельный учёт. Нормы в таблице — ориентиры для систем ежедневной операционной работы (CRM, учёт заявок, склад, задачи) на третий месяц после запуска.
| Метрика | Что ловит | Норма к третьему месяцу | Внедрение не состоялось | В примере |
|---|---|---|---|---|
| Доля операций в системе | работу, идущую мимо | 90 % и выше | ниже 70 % | 56 % |
| Полнота обязательных полей | заполнение заглушками | 85 % и выше | ниже 60 % | 71 % |
| Задержка «событие → запись» | восстановление по памяти | медиана до 2 часов | медиана больше суток | 26 часов |
| Доля активных пользователей | мёртвые доступы | 85 % и выше | ниже 60 % | 89 % |
| Доля обходных путей | параллельный учёт | до 10 % операций | больше 25 % | 31 % |
Обратите внимание на четвёртую строку. Единственная метрика, которая в модельном примере в норме, — это как раз та, которую чаще всего показывают руководству: восемь менеджеров из девяти регулярно заходят и что-то делают, 89 % при норме 85 %. По ней отчёт получается зелёным. Все остальные четыре числа говорят, что через систему идёт чуть больше половины работы, поля заполнены наполовину формально, а записи появляются через сутки после события. Отсюда практическое правило: доля активных пользователей не имеет смысла в одиночку — она показывает, что люди в системе есть, но ничего не говорит о том, что там происходит.
Как снять пять чисел за один рабочий день
Ни одна из метрик не требует покупки аналитики. Требуется доступ к выгрузке из системы, журнал действий и — обязательно — один источник, не связанный с системой. Без независимого источника первая метрика не считается вообще: выгрузка не может доказать, чего в ней нет.
- 1Доля операций в системе — 3 часа
Возьмите поток за 20 рабочих дней из источника, который система не заполняет: реестр отгрузок в 1С:УТ, журнал телефонии, банковскую выписку, накладные, записи на пропускном пункте. Посчитайте, сколько из этих операций нашлось в системе. В примере реестр отгрузок дал 620 сделок за 20 рабочих дней, а в CRM с этими отгрузками связано 347 — это 56 %.
- 2Полнота обязательных полей — 1 час
Возьмите случайную выборку из 50 карточек за последний месяц и восемь полей, которые кто-то реально читает. Заглушки считаются незаполненными: прочерк, «нет», «уточнить», «тест», повтор названия компании в поле контакта, дата, совпадающая с датой создания. В примере из 400 значений содержательно заполнены 284 — это 71 %.
- 3Задержка «событие → запись» — 1 час
В выгрузке почти всегда есть две даты: дата самого события (отгрузка, звонок, приём заявки) и служебная дата создания записи. Разница между ними — то, что вам нужно. Берите медиану, а не среднее: одна запись, внесённая через полгода при инвентаризации, испортит среднее и ничего не скажет о практике.
- 4Доля активных пользователей — 30 минут
Активный — не тот, кто вошёл, а тот, кто сделал содержательное действие (создал или изменил запись, закрыл задачу) минимум в четыре рабочих дня из пяти. Считайте от числа выданных доступов, а не от числа сотрудников: уволенные и неотозванные учётки завышают знаменатель и занижают результат.
- 5Доля обходных путей — 2 часа
Сложите два следа: счётчик выгрузок в файл за 20 дней и письма участка с вложениями-таблицами за тот же период. К ним добавьте то, что видно глазами за один обход: бумажные журналы, распечатки с пометками, общие файлы в облаке. В примере след вне системы нашёлся у 192 сделок из 620 — это 31 %.
Карта связей из двух столбцов с подписанными стрелками. Слева узлы-источники: «Реестр отгрузок / телефония / выписка банка», «Выгрузка карточек за месяц», «Служебные даты создания записей», «Журнал действий пользователей», «Счётчик экспорта и почта участка». Справа узлы-метрики: «Доля операций — 56 %», «Полнота полей — 71 %», «Задержка событие→запись — 26 часов», «Активные пользователи — 89 %», «Обходные пути — 31 %». Стрелки подписаны временем на замер: 3 часа, 1 час, 1 час, 30 минут, 2 часа. Внизу подпись «итого один рабочий день». Чертёжный стиль, подписи по-русски.
Заполнение задним числом видно по времени суток
Третья метрика даёт не только медиану, но и распределение, и это самая недооценённая часть замера. У системы, встроенной в работу, записи распределены по рабочему дню более-менее ровно, с провалом в обеденное время: событие произошло — запись появилась. У системы, в которую данные переносят из тетради и памяти, распределение собирается в горку у конца дня и у конца недели.
В модельном примере 38 % всех записей за месяц созданы в промежутке с 16:30 до 18:00, который занимает 17 % рабочего времени: концентрация выше фоновой в 2,2 раза. По дням недели картина такая же: на пятницу приходится 34 % записей вместо ожидаемых 20 %. Это и есть портрет пакетного заполнения — человек сначала работает, а потом отдельной задачей «заносит в систему». Практический вывод простой: данные, восстановленные вечером по памяти, годятся для отчёта о факте и не годятся для оперативных решений, потому что в момент, когда решение нужно принимать, их в системе ещё нет.
Гистограмма распределения созданных записей по часам рабочего дня с 9:00 до 18:00, ось значений в процентах от всех записей за месяц. Столбцы примерно ровные с провалом на обеде, и резкий пик на двух последних получасовых интервалах. Пиковая зона 16:30–18:00 закрашена и подписана «38 % записей за 17 % рабочего времени». Горизонтальной штриховой линией показан ожидаемый ровный уровень. Врезкой справа — маленькая диаграмма по дням недели с выделенной пятницей и подписью «34 % вместо 20 %». Чертёжный стиль, подписи по-русски.
Сколько стоит разрыв между актом и фактом
Разрыв считается так же, как любая другая ручная работа: объём операций, время на операцию и полная стоимость часа сотрудника. Полная — то есть с взносами, рабочим местом, управленческой надстройкой и полезной загрузкой; методику мы разбирали в материале о стоимости ручной работы, оттуда же взята ставка менеджера по продажам 2 086 ₽ за час полезной работы.
Последняя строка расчёта условная, и это надо оговаривать честно: поддержка и лицензии оплачиваются целиком независимо от того, как ими пользуются, и мы просто записываем в потери ту их долю, которая не отрабатывает. Даже без неё остаётся 66 752 ₽ в месяц чистого повторного ввода — восемьсот тысяч рублей в год за работу, которую никто не заказывал и которая не видна ни в одном отчёте, потому что растворена в рабочем дне девяти человек по двадцать минут.
Провал по метрике: три причины и разные лекарства
Число ниже порога само по себе не говорит, что делать. Одна и та же просевшая доля операций может означать три разные вещи, и лекарства у них противоположные: доработка формы не поможет тем, кто не понимает смысла записи, а обучение бесполезно, если путь в системе объективно длиннее старого. Поэтому сначала признак, потом вмешательство.
- 1Неудобно: путь в системе длиннее старого
Признак — метрика просела ровно и у всех, включая тех, кто сам просил эту систему, а в разговоре люди называют одни и те же два-три экрана. Проверяется секундомером: замерьте одну запись от начала до конца в системе и прежним способом. Если запись занимает больше 90 секунд при частоте больше двадцати раз в день, это дефект, а не дисциплина. Лечится сокращением обязательных полей до тех, которые кто-то читает, и автоматической подстановкой данных — эту задачу мы отдельно разбирали как автозаполнение CRM из звонков и почты.
- 2Не видно смысла: данные уходят и не возвращаются
Признак — расслоение внутри одной карточки: поля, влияющие на работу самого сотрудника, заполнены почти всегда, а «аналитические» — вдвое реже. Значит, человек заполняет то, что ему возвращается, и не заполняет то, что уходит наверх безответно. Лечится не напоминанием, а возвратом: сделать два-три отчёта, которыми пользуется сам участок, и встроить систему в следующий шаг так, чтобы без записи не формировался документ и не закрывалась смена.
- 3Недоучены: провал точечный и молчаливый
Признак — метрика проседает не у всех, а у двух-трёх человек из девяти, и именно эти люди не пишут в поддержку. Ноль обращений на фоне низких показателей означает не уверенность, а то, что человек не открывает систему и не хочет обнаруживать незнание. Лечится добором обучения на собственных задачах сотрудника, а не повторной демонстрацией на подготовленных примерах.
Как только по метрике начинают платить или спрашивать поимённо, она перестаёт быть данными и становится отчётностью: поля заполняются заглушками быстрее, записи создаются пачками, доля операций растёт, а качество данных падает. Первые два месяца после запуска замер снимается по участку целиком и не используется для санкций — это стоит один раз проговорить вслух и соблюсти.
Одна страница раз в месяц
Регулярность важнее точности. Замер, сделанный один раз для аудита, показывает состояние; замер, повторяемый каждый месяц, показывает направление — и именно направление отвечает на вопрос, работает ли то, что вы делаете с людьми и с системой. Первый замер занимает 3–4 часа, каждый следующий — около 40 минут, потому что выгрузки и формулы уже готовы. Ведёт его владелец процесса, а не подрядчик и не ИТ: это его метрика, и правки по её результатам приоритизирует тоже он.
- 1Пять чисел за месяц и рядом — значения за прошлый месяц, чтобы видеть дельту, а не абсолют.
- 2Одна строка на каждое число ниже порога: какая из трёх причин установлена и по какому признаку.
- 3Одно действие с ответственным и датой — не список из двенадцати пунктов, а то, что реально будет сделано до следующего замера.
- 4Отдельной строкой — правки, поставленные в очередь в прошлом месяце и не сделанные, с причиной задержки.
- 5Дата следующего замера. Если она не назначена, следующего замера не будет: это проверено на всех проектах, где он не был записан в календарь.
Такая страница делает ещё одну вещь, помимо контроля: она превращает разговор о людях в разговор о числах. Вместо «менеджеры не хотят работать в CRM» появляется «доля операций 56 %, просела у всех одинаково, причина — форма ввода на 2 минуты 40 секунд, правка в работе, срок — 19-е число». Спорить со вторым утверждением можно по существу, с первым — только эмоционально. Почему это принципиально, мы подробно разбирали в опорном материале про саботаж.
Абстрактный макет одностраничного отчёта, нарисованный как бланк, а не как скриншот продукта. Шапка: «Использование системы, месяц 4». Таблица из пяти строк: метрика, значение, прошлый месяц, порог — со значениями 56 %, 71 %, 26 часов, 89 %, 31 %; три строки помечены как ниже порога. Ниже блок «Установленная причина» с одной строкой и блок «Действие до следующего замера» с ответственным и датой. В самом низу строка «Дата следующего замера». Чертёжный стиль, подписи по-русски, без логотипов.
Когда мерить не надо и когда метрика врёт
Замер полезен не всегда, и честнее знать заранее, в каких случаях он даст шум вместо сигнала. Четыре ситуации, где эти пять чисел либо преждевременны, либо неприменимы.
- Система работает меньше месяца. В первые недели показатели отражают ход обучения, а не приживаемость, и пороги здесь другие — более мягкие. Что смотреть на десятый рабочий день и с какими нормами, разобрано отдельно в статье про саботаж; полноценный замер имеет смысл начинать с третьего месяца.
- На участке меньше 30 операций в месяц. Выборка из 50 карточек не наберётся, доли будут скакать от одного случая, а медиана задержки посчитается по восьми значениям. Дешевле и точнее поговорить с тремя людьми лично.
- Система справочная, а не операционная: архив документов, база знаний, портал регламентов. Доля операций и задержка записи к ней неприменимы — там измеряется поиск и обращения, а не ввод.
- Метрика уже стала предметом премии или разбора поимённо. С этого момента она измеряет не использование, а старание выглядеть используемым. Восстановить её как источник данных можно, но не раньше чем через два-три месяца после того, как санкции по ней прекратятся.
И последнее. Все пять чисел измеряют систему, а не людей. Если замер показывает 56 % — это утверждение о форме ввода, об отчётах и о том, встроена ли система в следующий шаг процесса; о дисциплине сотрудников он не говорит почти ничего. Руководители, которые держат это в голове, получают честные цифры и чинят причины. Руководители, которые начинают с фамилий, через месяц получают 95 % по всем метрикам и ту же самую тетрадь на столе.
Подпись под актом подтверждает, что систему сделали. Что через неё идёт работа, подтверждает только выгрузка.
