Контроль качества ИИ-системы на потоке 6 000 обращений в месяц стоит 53,5 часа и 56 360 ₽ по модельным ставкам — около 9,4 ₽ на одно обращение. Это постоянная статья расходов, которая начинается в день запуска и не заканчивается никогда, потому что вероятностная система не поддерживает состояние «настроили и забыли».
В коммерческом предложении этой суммы обычно нет, и объяснение простое: она состоит из часов вашей команды, а не из работ подрядчика. На этапе продажи обсуждают модель, интеграции и базу знаний; контроль выглядит как «руководитель будет иногда смотреть» и в смету не попадает. На третьем месяце выясняется, что смотреть надо 30–40 часов, а человека под это нет.
Ниже — состав месячной работы по шести статьям, расчёт для четырёх объёмов, разделение между своими силами и подрядчиком, что из этого реально автоматизируется и как заложить контур в бюджет первого года. Сквозной пример тот же, что и в остальных материалах раздела: агент первой линии в поддержке, база знаний из 150 страниц. Ставки — методист 900 ₽/час, инженер 3 000 ₽/час, руководитель 2 500 ₽/час; ручная обработка одного обращения человеком стоит 70 ₽.
Шесть статей месячной работы
Контур контроля — это не одна процедура, а шесть регулярных работ с разными исполнителями. Их часто путают: подрядчик под «контролем качества» понимает мониторинг доступности сервиса, а заказчик — чтение диалогов. Ни то ни другое по отдельности контуром не является.
Самая крупная строка — первая, и она же единственная, которую нельзя сократить без потери смысла всего контура. Как отбираются эти 660 диалогов из шести тысяч и по какому чек-листу они оцениваются, разобрано отдельно — выборочный контроль диалогов. Оттуда же взяты 33 часа: это 300 случайных диалогов, 235 из обязательных корзин и каждая пятая эскалация.
Полтора прогона регресс-набора в месяц — это не округление, а средний ритм изменений в первый год эксплуатации: примерно 18 прогонов за 12 месяцев на смену модели, правки промпта, обновления базы знаний и новые интеграции. Один прогон со скриптом стоит 3 240 ₽ против 8 100 ₽ вручную; из чего складывается набор и когда его прогон обязателен — в материале про тестовый набор и регресс.
Четыре объёма: от 500 до 15 000 обращений
Главное свойство контура — он растёт медленнее потока. Доля случайной выборки падает по мере роста, эскалации прореживаются сильнее, редкие корзины на больших объёмах приходится ограничивать. Поэтому удельная цена контроля снижается в пять с лишним раз, а абсолютная — вырастает всего в пять с половиной.
| Обращений в месяц | 500 | 3 000 | 6 000 | 15 000 |
|---|---|---|---|---|
| Диалогов на проверку | 170 | 460 | 660 | 1 020 |
| Часов в месяц | 15,5 | 37,5 | 53,5 | 85 |
| Деньгами в месяц | 16 870 ₽ | 39 840 ₽ | 56 360 ₽ | 91 320 ₽ |
| На одно обращение | 33,7 ₽ | 13,3 ₽ | 9,4 ₽ | 6,1 ₽ |
| Доля в снятой с людей работе | 88 % | 35 % | 24 % | 16 % |
| Кто ведёт | Руководитель в своё рабочее время | Старший оператор, день в неделю | Выделенный контролёр на неполный день | Отдельная роль плюс автоматический отбор |
Последняя строка таблицы — самая важная для решения о запуске. Снятая с людей работа считается прозрачно: агент закрывает 55 % обращений, ручная обработка одного стоит 70 ₽, значит, при 500 обращениях он снимает 275 × 70 = 19 250 ₽ в месяц, а контроль забирает 16 870 ₽ из них. На 15 000 обращений снимается 577 500 ₽, а контроль забирает 91 320 ₽ — совсем другая арифметика при том же устройстве работы.
Двухосевой график. Ось X — поток обращений в месяц с отметками 500, 3 000, 6 000, 15 000. Левая ось — рубли на одно обращение, спадающая синяя линия через точки 33,7 / 13,3 / 9,4 / 6,1 с подписями. Правая ось — часы в месяц, растущая серая линия через точки 15,5 / 37,5 / 53,5 / 85. Вертикальная штриховая отметка на 1 500 обращений подписана «ниже вопрос уже об окупаемости самого агента». Под каждой отметкой оси X мелкая подпись доли контроля в снятой работе: «88 %», «35 %», «24 %», «16 %». Чертёжный стиль, подписи по-русски.
Что остаётся вашим, а что можно отдать подрядчику
Рыночный ориентир сопровождения заказного ИИ-агента — 20 000–30 000 ₽ в месяц. Важно понимать, что именно за эти деньги делается: доступность сервиса, обновления, реакция на инциденты, иногда прогон регресса. Чтения диалогов там нет и быть не может — при потоке 6 000 обращений это 33 часа предметной работы, которые по любой внешней ставке стоят дороже всего пакета.
| Статья | Часов | Кто делает | Почему так |
|---|---|---|---|
| Просмотр выборки диалогов | 33 | Только заказчик | Инженер не отличит устаревший регламент от действующего |
| Карточки дефектов | 4 | Только заказчик | Формулировка дефекта требует знания предметной области |
| Ведение базы знаний | 8 | Только заказчик | Это ваш контент и ваши решения о том, что считать правдой |
| Прогоны регресс-набора | 4,5 | Можно отдать | Механическая работа по готовым правилам зачёта |
| Разбор причин | 2 | Обычно отдают | Требуется доступ к устройству системы |
| Отчёт и решения | 2 | Совместно | Отчёт готовит подрядчик, решение принимает заказчик |
Разделение получается 45 часов против 8,5. Ваши 45 часов стоят 40 500 ₽ в месяц по внутренним ставкам и не отдаются никому ни при каком договоре. Оставшиеся 8,5 часа стоят 15 860 ₽ по тем же ставкам и как раз попадают в рыночную вилку сопровождения — с наценкой подрядчика это те самые 20 000–30 000 ₽.
Выше вилка уходит по четырём причинам: подрядчик берёт на себя просмотр диалогов (33 часа по ставке предметного эксперта 2 000 ₽/час — это 66 000 ₽ только за одну строку), поток выше 10 000 обращений, есть требование реагировать на сигнал в течение часа, или отрасль регулируемая и формулировки требуют юридической проверки. Общий состав договора сопровождения и что в нём должно быть записано — в материале про то, сколько стоит поддержка и зачем она.
Сравнение в две колонки. Левая «Остаётся у заказчика — 45 ч, 40 500 ₽/мес»: строки «Просмотр выборки — 33 ч», «Карточки дефектов — 4 ч», «Ведение базы знаний — 8 ч», внизу подпись «требуется знание предметной области». Правая «Можно отдать подрядчику — 8,5 ч, 15 860 ₽/мес»: строки «Прогоны регресс-набора — 4,5 ч», «Разбор причин — 2 ч», «Отчёт и решения — 2 ч», внизу подпись «рыночная вилка сопровождения 20 000–30 000 ₽/мес». Между колонками вертикальная линия с общей подписью «53,5 часа, 56 360 ₽ в месяц». Чертёжный стиль, подписи по-русски.
Что автоматизируется, а что нет
Автоматизация контроля даёт меньше, чем от неё ждут, но и стоит недорого. Считать её надо отдельно от контура, потому что окупаемость зависит от объёма даже сильнее, чем сам контур.
- Отбор подозрительных диалогов. Срабатывание ограничителя, признак негатива, обсуждение сумм без результата, больше четырёх реплик до эскалации — всё это система размечает сама. Экономится не чтение, а поиск того, что читать.
- Первые два пункта чек-листа. Наличие ссылки на источник в фактическом ответе и совпадение фразы ответа с найденным фрагментом проверяются механически. Вместе с отбором это снимает около четверти времени просмотра: при 6 000 обращений — 8,25 часа и 7 425 ₽ в месяц. Сборка обеих проверок — 20 часов инженера, 60 000 ₽ разово, окупаемость 8,1 месяца.
- Прогон регресс-набора. Скрипт стоит 48 000 ₽ разово и экономит 4 860 ₽ на каждом прогоне. При полутора прогонах в месяц он возвращает вложение примерно за семь месяцев; при пяти изменениях в год писать его не надо.
- Сводные отчёты. Четыре доли, динамика дефектов по неделям, список незакрытых карточек — собираются автоматически из журнала. Решение по этим цифрам не автоматизируется, и час руководителя из сметы никуда не уходит.
Не автоматизируется никогда одно: смысловой вердикт «верен ли ответ по существу». Машинная проверка скажет, что ссылка на документ есть и фраза в нём нашлась; она не скажет, что документ описывает другой тип договора. Ровно поэтому автоматизация снимает четверть работы, а не всю. И на маленьком потоке она не окупается вовсе: при 500 обращениях те же 60 000 ₽ экономят 1 910 ₽ в месяц и возвращаются за 31 месяц.
Как заложить контур в бюджет первого года
Первый год дороже последующих по двум причинам: набор и скрипты собираются с нуля, а первые два месяца система работает в усиленном режиме контроля — 70 часов просмотра в первый месяц и 52 во второй вместо рабочих 33.
Складывать эту сумму с другими расчётами раздела нельзя: три её строки уже посчитаны в других статьях бюджета. Ведение базы знаний, разбор инцидентов и прогон регресса при обновлении модели входят в восемь статей скрытых расходов эксплуатации. Уникальными для контура контроля остаются две позиции — просмотр диалогов и карточки дефектов, вместе 33 300 ₽ в месяц, или 399 600 ₽ в год. Вот их и нет ни в одной смете, ни в вашей, ни в подрядческой.
Горизонтальная накопительная полоса из четырёх сегментов с подписями и суммами: «Рабочий режим 12 месяцев — 676 320 ₽», «Создание регресс-набора — 91 200 ₽», «Скрипт автоотбора и автопроверки — 60 000 ₽», «Усиленный режим первых двух месяцев — 50 400 ₽». Общая длина подписана «877 920 ₽ за первый год, в среднем 73 160 ₽ в месяц». Под полосой отдельной скобкой выделена часть двух статей с подписью «просмотр диалогов и карточки дефектов — 399 600 ₽ в год, которых нет ни в одной смете». Чертёжный стиль, подписи по-русски.
Спросите у подрядчика на этапе коммерческого предложения три вещи: сколько часов в месяц ваша сторона тратит на просмотр диалогов, кто именно этот человек по должности и что происходит с найденным дефектом дальше. Ответ «мы всё контролируем сами» означает, что просмотра диалогов в проекте не будет вовсе, — а значит, о деградации вы узнаете от клиента, а не из отчёта.
Когда контроль стоит дороже пользы
Есть четыре ситуации, где полный контур — лишние деньги. Три из них означают, что контроль надо упростить, а четвёртая — что упрощать уже нечего.
- Поток меньше 1 500 обращений в месяц. Контроль забирает от трети до девяти десятых всей снятой работы. При 500 обращениях сплошной просмотр всех диалогов стоит 25 часов против 15,5 у выборочного — разница 8 550 ₽ в месяц, зато не нужны правила отбора и не теряются редкие события. Выбор между этими двумя режимами — вопрос удобства; вопрос экономики здесь другой: нужен ли на таком потоке агент.
- Ошибка ловится на следующем шаге. Черновик письма, классификация документа, извлечённые поля — результат в любом случае читает сотрудник перед отправкой. Здесь нужны журнал и разбор спорных случаев, а не отдельная процедура с чек-листом и месячным отчётом.
- Задача закрывается правилом. Если ответы подставляются шаблонами из справочника, а свободный текст модель не генерирует, проверять нечего: шаблон либо подставился, либо нет, и это ловится тестами.
- Контроль дороже экономии. Если расходы на контур и эксплуатацию превысили снятую с людей работу, чинится это не оптимизацией контроля, а решением об остановке или сужении проекта. Сокращать контроль в этой ситуации — значит сохранять убыток и добавлять к нему риск.
Доля случайной выборки сокращается с 5 % до 3 % при стабильных метриках три месяца подряд — это минус 6 часов и 5 400 ₽ в месяц. Обязательные корзины и ведение базы знаний сокращать нельзя: там находятся дорогие дефекты. Экономия на них — 10 600 ₽ и 7 200 ₽ соответственно, вместе 17 800 ₽ в месяц при цене одного пропущенного инцидента с придуманной скидкой в 132 000 ₽. Один такой эпизод окупает семь месяцев такой экономии в обратную сторону.
Контроль качества — не страховка от ошибок, а способ узнавать о них раньше клиента. Разница между 9,4 ₽ на обращение и нулём измеряется не рублями, а тем, кто первым сообщит вам о проблеме.
