ИИ-проект надо останавливать, когда три последовательных замера по одной методике не показывают роста качества, а расходы на контроль системы сравнялись с работой, которую она снимает. Оба условия измеримые, и решение по ним принимается за две недели — в отличие от бесконечного «дайте ещё месяц», которое обычно и стоит компании дороже всего.
Опасность здесь не в том, что проект провалится. Опасность в том, что он будет тлеть: система работает, кто-то её ведёт, подрядчик присылает счета, а эффекта нет уже полгода. Такое состояние не создаёт события, на которое можно было бы отреагировать, поэтому останавливать проект приходится осознанно, по заранее записанным признакам, а не по инциденту.
Ниже — шесть признаков с числовыми порогами, процедура остановки за две недели, расчёт того, что остаётся полезным, и варианты вместо агента. Общая логика решения о закрытии буксующего проекта — сроки, невозвратные затраты, развилка «продолжить, сузить, остановить» — разобрана в материале про то, когда проект автоматизации пора остановить. Здесь только то, что специфично для вероятностных систем. Сквозной пример тот же, что и в остальных материалах раздела: агент первой линии в поддержке, база знаний из 150 страниц, ставки — методист 900 ₽/час, инженер 3 000 ₽/час, руководитель 2 500 ₽/час.
Временная яма или потолок: что показывают три замера
Одиночный замер не отличает плохую систему от системы в начале пути. Отличает траектория: три замера подряд по одной методике, на выборке того же размера и с эталонами, написанными теми же людьми. Методика подробно разобрана отдельно — как измерить качество ИИ на своих данных; здесь важно только то, что менять её между замерами нельзя, иначе сравнивать будет нечего.
| Показатель | Здоровая траектория | Потолок |
|---|---|---|
| Правильные ответы, замер 1 | 70 % | 68 % |
| Правильные ответы, замер 2 | 78 % | 70 % |
| Правильные ответы, замер 3 | 84 % | 69 % |
| Прирост за три замера | +14 п.п. | +1 п.п., в пределах погрешности |
| Критические ошибки, замер 1 → 3 | 2 % → 0 % | 2 % → 2 % |
| Честные отказы, замер 1 → 3 | 20 % → 12 % | 24 % → 23 % |
Правая колонка — это и есть потолок, и выглядит он обманчиво прилично: система отвечает, две трети ответов верны, катастрофы нет. Но на выборке в 200 примеров погрешность около ±4 процентных пунктов, то есть разница между 68 % и 70 % статистически неразличима. Рабочий порог: если суммарный прирост доли правильных ответов за три замера меньше 5 п.п., роста нет, и четвёртый месяц ничего не изменит без смены подхода.
Второй важный признак в таблице — вторая снизу строка. В здоровом проекте доля критических ошибок падает быстрее общей: критические закрываются ограничителями в коде, а не качеством модели, и это самая управляемая часть системы. Если критические ошибки держатся на месте два замера подряд, значит, ограничители не строятся, — и разговор идёт уже не о качестве ответов, а об устройстве проекта.
Двухосевой график. Ось X — три замера с подписями «месяц 1», «месяц 2», «месяц 3»; ось Y — доля правильных ответов от 60 до 90 %. Синяя линия «здоровая траектория» проходит через точки 70, 78, 84 с подписями. Серая линия «потолок» — через 68, 70, 69. Вокруг серой линии полупрозрачная полоса погрешности шириной ±4 п.п. с подписью «выборка 200 примеров». Горизонтальная штриховая отметка на уровне «+5 п.п. от первого замера» подписана «порог решения». Чертёжный стиль, подписи по-русски.
Шесть признаков, при которых спасать дороже, чем остановить
Признаки сформулированы так, чтобы по каждому можно было ответить «да» или «нет», глядя в документ, а не в ощущения. Первые четыре по одному означают сужение задачи, два из них одновременно — паузу на разбор. Пятый и шестой останавливают проект в одиночку: они не лечатся временем.
- 1Качество не растёт третий цикл подряд. Суммарный прирост доли правильных ответов за три замера меньше 5 п.п. при неизменной методике. Проверяется по трём протоколам, лежащим рядом.
- 2Критические ошибки не воспроизводятся и не чинятся. Доля критических держится на 1 % и выше два замера подряд, и при этом каждый случай уникален. Ограничитель закрывает класс ситуаций, а не отдельный диалог; если класс не выделяется, закрывать нечего.
- 3Базу знаний физически негде взять. Возьмите 50 закрытых обращений и попробуйте найти ответ в документах. Меньше 35 — база не готова, это чинится работой. Меньше 25 после второй попытки сбора — знание живёт в головах, и собрать его в базу стоит дороже, чем весь проект.
- 4Процесс меняется быстрее, чем идут исправления. За квартал устаревает больше 30 % регресс-набора — это 54 вопроса из 180, — а очередь незакрытых дефектов растёт третий месяц подряд. Вы не догоняете собственный бизнес, и дело не в подрядчике.
- 5Стоимость контроля выше снятой работы. Считается за одну строку, расчёт ниже. Признак не про качество: система может отвечать хорошо и всё равно быть убыточной.
- 6Критический риск нечем закрыть. Есть сценарий, который нельзя ни запретить ограничителем, ни передать человеку в требуемый срок: врачебная рекомендация, юридический вывод, цена по индивидуальному договору. Здесь останавливаются независимо от метрик, потому что отвечать перед клиентом будет компания, а не модель.
Пятый признак стоит посчитать отдельно, потому что он единственный, который часто срабатывает при формально хороших метриках. Возьмём поток 1 200 обращений в месяц; агент закрывает 45 % из них, ручная обработка одного обращения стоит 70 ₽, контроль качества ведётся по регламенту раздела и занимает 26,4 часа в месяц. Доля 45 % ниже той, которую мы берём в расчётах здорового проекта, — там 55 %; но система, дошедшая до разговора об остановке, обычно именно такая.
Здесь нет ошибки настройки и нет плохого подрядчика: поток просто мал. Порог, с которого клиентский агент начинает окупаться, лежит между 2 000 и 4 500 обращений в месяц — нижняя граница получается, если считать только вызовы модели и сопровождение, верхняя — если честно добавить все статьи контроля и доработок. Как этот порог считается на своих числах, разобрано в материале про порог окупаемости по объёму. Если ваш поток ниже нижней границы, останавливать проект надо не по метрикам качества, а по арифметике, и чем раньше, тем дешевле.
Процедура остановки: пять шагов за две недели
Остановка без процедуры превращается в потерю всего наработанного: доступы гаснут, база знаний остаётся у подрядчика, а через год выясняется, что начинать надо с нуля. Две недели работы сохраняют примерно половину вложений.
- 1Дни 1–2. Заморозка и фиксация состояния
Агент выключается или переводится в режим «черновик оператору»: он больше не говорит с клиентом сам. В протокол записываются версии промпта, индекса базы знаний и модели, журнал выгружается целиком за весь период. Без этой записи через полгода невозможно понять, что именно вы останавливали.
- 2Дни 3–7. Приёмка артефактов
Те же позиции, что и при обычной приёмке: промпты с историей версий, база знаний в исходном виде, регресс-набор, разметка и эталоны, код ограничителей, инструкции операторов, доступы на ваше юрлицо. Список и порядок проверки — в материале про приёмку ИИ-системы у подрядчика. Это единственный шаг, который нельзя отложить: после расчёта мотивация передавать что-либо исчезает.
- 3Дни 5–10. Расчёт с подрядчиком
Акты подписываются за фактически принятые этапы. Если в договоре были блокирующие показатели и они не взяты, платёж последнего этапа удерживается — но только тот, по которому есть протокол прогона с числами. Спор без протокола выигрывает подрядчик, и это ещё один довод в пользу замеров по ходу проекта.
- 4Дни 8–12. Разбор причин без поиска виноватого
Одна встреча на два часа и письменный протокол: какие из шести признаков сработали, что было известно и когда. Полезное правило — записывать не «подрядчик не справился», а «на втором замере прирост составил 2 п.п., решение продолжать приняли без обсуждения порога». Такая формулировка через год работает, а первая нет.
- 5День 14. Решение с условием возврата
В решении фиксируется не «проект закрыт», а что именно должно измениться, чтобы к теме вернулись: собрана база знаний по недостающим темам, поток вырос до порога, процесс перестал меняться каждый месяц. Условие с числом и ответственным превращает закрытие в паузу, а не в табу.
Горизонтальная лента на 14 дней с пятью подписанными участками и результатом под каждым: «Дни 1–2. Заморозка — протокол с версиями промпта, базы и модели, выгрузка журнала», «Дни 3–7. Приёмка артефактов — комплект из семи позиций», «Дни 5–10. Расчёт — акты за принятые этапы, удержание по блокирующим показателям», «Дни 8–12. Разбор причин — протокол по шести признакам», «День 14. Решение — условие возврата с числом и ответственным». Участки третьего и второго шага частично перекрываются по времени. Чертёжный стиль, подписи по-русски.
Что остаётся у компании и сколько это стоит
Главный аргумент против остановки звучит так: «мы уже вложили полмиллиона». Половина этих денег не пропадает — она лежит в артефактах, которые не зависят от того, работает агент или нет. Расчёт ниже — на модельном проекте с внедрением 460 000 ₽.
База знаний в этом списке — самая ценная позиция, и она полезна вообще без всякого ИИ: по ней работает поиск для операторов, по ней учат новичков, из неё собирается портал самообслуживания. Регресс-набор и разметка сокращают следующую попытку на те же 50 и 25 часов предметной работы, которые вы уже оплатили один раз. А три протокола замера — единственное, что защитит от повторения истории: следующий подрядчик увидит, на каком уровне система уже стояла, и обещать 95 % ему будет сложнее.
Что делать вместо агента
Остановка проекта не означает возврата к тому, что было до него. У вас на руках база знаний и понимание объёмов — на этом строятся варианты попроще, которые окупаются на потоках, где агент не окупается.
- Правила и шаблоны без модели. Двадцать-сорок часов инженера, 60 000–120 000 ₽ разово: автоответ по типу обращения, готовые формулировки для трёх десятков частых вопросов, маршрутизация по ключевым словам. Закрывает 25–30 % потока и не требует контроля качества вообще.
- Поиск по документам без генерации ответа. База знаний уже собрана, остаётся сделать так, чтобы сотрудник видел найденные фрагменты и решал сам. Ошибка ловится человеком на месте, замеры и выборочный контроль не нужны. Это и есть корпоративная база знаний в чистом виде.
- Частичная автоматизация без разговора с клиентом. Классификация обращений и распределение по исполнителям: модель ошибается, но цена ошибки — неверно назначенный тикет, а не обещанная скидка. Такие сценарии переживают почти любые метрики качества.
- Человек на неполный день. При 1 200 обращениях вся ручная обработка стоит 84 000 ₽ в месяц — это меньше, чем агент с контролем. Считать надо не «людей против технологии», а полную стоимость каждого варианта, включая часы на надзор.
Сравнение в четыре колонки с одинаковым набором строк: «Что делает», «Разово», «Ежемесячно», «Нужен ли контроль качества», «Доля потока». Колонки: «Правила и шаблоны — 60 000–120 000 ₽ — почти ноль — не нужен — 25–30 %»; «Поиск по документам — 90 000–150 000 ₽ — ведение базы — не нужен, источник видит человек — весь поток как подсказка»; «Классификация обращений — сопоставимо — небольшое — выборочно — весь поток»; «Человек на неполный день — 0 ₽ — 84 000 ₽ при 1 200 обращениях — не нужен — весь поток». Внизу общая плашка «база знаний из остановленного проекта используется во всех четырёх». Чертёжный стиль, подписи по-русски.
Когда останавливаться не надо
Ошибка в обратную сторону тоже дорогая: проект закрывают на месяц раньше, чем он вышел бы в плюс. Есть три состояния, которые выглядят как провал, но провалом не являются.
- Первый замер показал 70 % и всех расстроил. Это нормальный старт: система на первом месяце объективно хуже, чем на третьем, потому что база знаний ещё дописывается по найденным пробелам. Решение принимается по третьему замеру, а не по первому.
- Все ошибки — из одного источника. Если разбор показывает, что 80 % неверных ответов приходятся на устаревший прайс или два противоречащих регламента, это не потолок системы, а состояние документов. Чинится за две-три недели работы методиста и даёт скачок сразу.
- Высокая доля отказов при низкой доле ошибок. Система, которая отвечает редко и честно, — это база для настройки, а не повод её закрывать. Обратная картина, много ответов и много ошибок, гораздо хуже, хотя выглядит бодрее. Почему отказ является целевым поведением, разобрано в материале про ответ «не знаю».
Если проект просто перестают финансировать, а доступы, база знаний и регресс-набор остаются у подрядчика, компания теряет не 246 700 ₽, а все 460 000 ₽ — и вдобавок повторяет тот же путь через год, потому что причин никто не записал. Две недели процедуры стоят примерно 30 часов работы своей команды и возвращают почти половину вложений в пригодном к использованию виде.
Проект останавливают не потому, что он не получился, а потому, что дальнейшие деньги дадут меньше, чем те же деньги в другом месте. Всё остальное — обсуждение уже потраченного.
