Агент сам делает то, что можно отменить за минуту и что имеет проверяемый источник. Всё остальное он готовит: собирает ответ, заполняет поля, находит основание — и останавливается перед действием, которое совершает человек. Эта граница не зависит от того, насколько задача сложна для модели, и именно поэтому её так часто проводят неправильно.
Типичная ошибка звучит так: «поиск по архиву договоров — это сложно, пусть человек проверяет; а перенести запись клиента на другой день — ерунда, пусть агент делает сам». На деле всё наоборот. Сводка по договору обратима полностью: она никому не отправлена, её правка стоит двух минут юриста, а источник у неё есть — сам договор. Перенос записи необратим в тот момент, когда клиенту ушло уведомление: слот занят, клиент перестроил день, а «отменить» уже нельзя, можно только извиняться.
Ниже — рабочая методика: два вопроса, которые определяют ступень для конкретной задачи, четыре ступени с примерами и ценой ошибки, расчёт стоимости подтверждения на потоке 3 000 обращений в месяц и формулировки, которые имеет смысл занести в приёмку, чтобы спор «агент повёл себя неправильно» решался по документу, а не по интонации.
Два вопроса, которые определяют ступень
Прежде чем обсуждать с подрядчиком уровни автономности, по каждой операции задаются два вопроса. Первый: можно ли откатить результат за минуту силами одного сотрудника, не объясняясь ни с кем снаружи. Второй: есть ли у правильного ответа источник, на который агент может сослаться прямой цитатой — документ, поле в учётной системе, статья регламента.
Действие, последствия которого снимаются одним шагом внутри вашего контура и не видны наружу. Изменить черновик, переписать поле в карточке, удалить непроведённый документ — обратимо. Отправленное клиенту сообщение, проведённый документ, списанный со склада товар — уже нет: их не отменяют, а компенсируют. Что спросить у подрядчика: «покажите по каждому действию агента, каким запросом оно откатывается и что при этом видит клиент».
Комбинация ответов даёт четыре клетки. Обратимо и есть источник — агент работает сам, человек нужен только для выборочного контроля. Обратимо, но источника нет (задача на суждение: тон письма, приоритет жалобы) — агент готовит вариант, человек утверждает, ошибка стоит правки. Необратимо, но источник есть (выставить счёт по договору, провести накладную по УПД) — агент собирает всё до последнего поля, нажимает человек. Необратимо и источника нет — это не задача агента вообще, и никакая статистика этого не меняет.
Матрица 2×2 в чертёжном стиле. Горизонтальная ось — «Откатывается за минуту: да / нет», вертикальная — «Есть проверяемый источник: да / нет». В клетках подписи: «Агент делает сам, выборочный контроль», «Агент готовит вариант, человек утверждает», «Агент собирает всё, кнопку нажимает человек», «Не задача агента». В каждой клетке по одному примеру: «поиск по архиву», «тон письма клиенту», «счёт по договору», «решение по кадрам». Все подписи по-русски.
Четыре ступени самостоятельности
Ступени отличаются не качеством модели, а тем, где стоит человек и сколько времени он на это тратит. Одна и та же система может работать на разных ступенях в разных операциях — это нормальное состояние, а не признак недоделанного проекта. Общая шкала автономности всей системы разобрана в статье про уровни автономности ИИ-агента; здесь мы применяем ту же логику к отдельной задаче.
| Ступень | Что делает агент | Что делает человек | Цена ошибки | Типовые задачи |
|---|---|---|---|---|
| 1. Черновик | Готовит текст или заполненную форму и кладёт в очередь | Читает целиком, правит, отправляет | Минуты правки | Ответ клиенту в новой теме, сводка по договору, письмо поставщику |
| 2. Черновик с подсветкой | То же плюс помечает поля, в которых не уверен, и даёт ссылку на источник | Смотрит только подсвеченное, остальное принимает | Минуты правки, но проверка втрое быстрее | Карточка сделки по разговору, реквизиты из счёта, заявка на закупку |
| 3. Действие по подтверждению | Готовит действие целиком и ждёт одного нажатия | Нажимает кнопку, 30–60 секунд на случай | Ошибка не выходит наружу | Отправка ответа клиенту, проведение документа, перенос записи |
| 4. Действие без подтверждения | Выполняет сам и пишет в журнал | Смотрит выборку 3–5 % и разбирает сигналы | Ошибка выходит наружу и разбирается постфактум | Классификация обращений, маршрутизация, автоответ по типовому вопросу |
Вторая ступень — самая недооценённая. Разница между «прочитать весь черновик» и «проверить три подсвеченных поля» на практике даёт трёхкратное сокращение времени проверки и при этом не требует ни менять права доступа, ни трогать контур безопасности. Если проект буксует на согласовании автономности, начинать почти всегда стоит отсюда: подсветка спорных полей — это доработка на 20–30 часов, а не новая архитектура.
Горизонтальный ряд из четырёх блоков, подписанных «Черновик», «Черновик с подсветкой», «Действие по подтверждению», «Действие без подтверждения». Под каждым — две строки: время человека на один случай (3 минуты, 1 минута, 45 секунд, 0) и цена ошибки («правка», «правка», «не выходит наружу», «разбор постфактум»). Сквозная стрелка снизу подписана «цена ошибки растёт», сверху — «время человека падает». Чертёжный стиль, подписи по-русски.
Что надёжно закрывается черновиком
Черновик — это не половинчатое решение, а полноценный способ снять большую часть ручной работы. Набор текста, поиск нужного пункта, перенос цифр из документа в форму занимают минуты; проверка готового занимает секунды. Именно на этой разнице живёт основная экономия, и она достигается без единого необратимого действия.
- Ответ клиенту в известной теме. Агент собирает ответ по базе знаний со ссылкой на пункт регламента, менеджер читает и отправляет. Это же ядро автоматических ответов клиентам, только с человеком на выходе.
- Карточка сделки после разговора. Пять-шесть полей заполняются по расшифровке: тема, потребность, следующий шаг, срок, возражение. Проверка занимает 30–40 секунд против четырёх минут ручного заполнения — механику мы разбирали в материале про автозаполнение CRM.
- Сводка по договору или тендерной документации. Существенные условия, сроки, штрафы, реквизиты — с прямой цитатой из текста. Юрист читает цитаты, а не сорок страниц.
- Заявка на закупку по остаткам и истории. Агент считает потребность, подставляет поставщика и цену из последнего счёта, снабженец утверждает.
- Первичные документы. Классификация типа, извлечение полей, сверка с данными в учётной системе — с обязательной подсветкой того, что не сошлось: сомнительное поле проверяется за секунды, а не переносится руками заново.
«Агент подготовил 2 400 ответов» — это не результат. Результат — «проверка одного ответа занимает 45 секунд вместо пяти минут набора». Если проверка занимает столько же, сколько заняла бы работа с нуля, черновик не работает: либо он неполон, либо человек не доверяет источнику и перепроверяет всё заново. Оба случая чинятся подсветкой полей и ссылкой на источник, а не сменой модели.
Где подтверждение остаётся навсегда
Есть операции, у которых ступень не поднимается по мере накопления статистики. Не потому, что агент плох, а потому, что откат там невозможен в принципе: последствие уже наступило в чужой голове, в чужом учёте или в отчётности.
- 1Деньги наружу. Платёж, возврат, списание с баланса, изменение реквизитов получателя. Ошибку здесь не отменяют, а возвращают через банк и переписку.
- 2Обещание клиенту. Срок, цена, скидка, гарантия, подтверждение брони. Сказанное клиенту становится обязательством раньше, чем попадает в учёт.
- 3Проведённые документы и отгрузка. Проведение, отгрузка, списание со склада, закрытие периода. Отменяется сторно и объяснительной, а не кнопкой «назад».
- 4Массовая коммуникация. Рассылка, публикация, объявление. Цену одной ошибочной рассылки мы считали отдельно в материале про необратимые действия агента — она превышает стоимость всего контура ограничителей.
- 5Решения о людях. Отказ кандидату, оценка сотрудника, дисциплинарное действие. Здесь нет проверяемого источника: у правильного ответа не существует документа, на который можно сослаться.
Статистика говорит о частоте ошибок, а не о цене одной из них. Если 999 отправленных клиенту писем корректны, а тысячное обещает срок, которого нет, экономия на подтверждении за месяц не покрывает разбор одного такого случая. Правило простое: снимать подтверждение можно там, где ошибка стоит минут, и нельзя там, где она стоит переписки с клиентом или проводки в учёте.
Сколько стоит подтверждение и когда его снимают
Подтверждение — не бесплатная страховка. Оно съедает часть экономии, и эту часть надо считать до внедрения, а не обнаруживать через квартал по жалобам операторов на «ещё одну кнопку». Считаем на модельных вводных: 3 000 обращений в месяц, агент готовит ответ по 80 % из них, подтверждение одного случая занимает 45 секунд, ставка оператора поддержки — 700 ₽/час.
Порог, при котором частичное снятие подтверждения укладывается в типичную окупаемость 3–6 месяцев, — примерно 5 200 обращений в месяц. Ниже него подтверждение оставляют полностью и оптимизируют не его наличие, а его длительность: подсветка спорных полей, подтверждение пачками по десять случаев, автоматический пропуск ответов, полностью совпавших с шаблоном. Это дешевле любой доработки порога уверенности и не требует менять права агента.
Линейный график. Горизонтальная ось — объём обращений в месяц от 1 000 до 8 000, вертикальная — экономия в рублях в месяц. Прямая линия проходит через точки 3 000 → 10 080 ₽ и 6 000 → 20 160 ₽. Горизонтальная штриховая линия на уровне 17 500 ₽/мес подписана «возврат доработки 105 000 ₽ за 6 месяцев». Точка пересечения на отметке 5 200 обращений выделена и подписана «порог». Оси и подписи по-русски.
В соседнем расчёте, где считается переход всей системы на следующий уровень автономности, порог получился выше — около 7 000 обращений. Разница не в противоречии, а в объёме работ: там вместе с порогом уверенности перестраивается весь контур контроля, здесь — только один экран и одно правило. Чем уже изменение, тем ниже порог, с которого оно окупается.
Как записать ступень в приёмку
Формулировка «агент работает корректно» непроверяема и потому бесполезна. В приёмке фиксируется поведение при неуверенности — именно там расходятся ожидания заказчика и подрядчика. Ниже — минимальный набор пунктов, который снимает спор до его начала.
- 1Ступень по каждой операции, а не по системе целиком
Таблица «операция — ступень — кто подтверждает». Отправка ответа клиенту — ступень 3, менеджер. Классификация обращения — ступень 4, выборка. Пятнадцать строк такой таблицы стоят дешевле одного спора на сдаче.
- 2Что считается корректным поведением при неуверенности
Агент не отвечает по памяти, а возвращает «нет данных» и передаёт человеку с пометкой причины. Признак корректности — не отсутствие таких случаев, а их доля: 5–12 % на живом потоке нормально, ноль означает, что агент домысливает. Механику мы разбирали в материале про ответ «не знаю» как целевое поведение.
- 3Порог уверенности и что происходит ниже него
Число, ниже которого случай уходит человеку, задаётся настройкой, а не зашивается в код, и меняется вашим сотрудником без обращения к подрядчику. В приёмке — стартовое значение и способ его изменить.
- 4Журнал: что видно по одному случаю
По любому обращению за прошлый месяц восстанавливается цепочка: запрос, найденный источник, черновик, кто подтвердил, во сколько. Без этого разбор инцидента превращается в ручную сверку на несколько дней.
- 5Правило подъёма ступени после запуска
Не раньше трёх месяцев эксплуатации и 500 обработанных случаев без инцидентов, с зафиксированными метриками до перехода. Один инцидент обнуляет счётчик. Условие пишется в договор заранее, иначе подъём происходит по настроению.
Числовая граница, ниже которой агент не действует сам, а передаёт случай человеку. Задаётся отдельно для каждой операции и настраивается после запуска по журналу: если доля передач человеку меньше 3 %, порог занижен и агент отвечает там, где не должен; если больше 20 % — завышен, и экономии нет. Что спросить у подрядчика: «где хранится порог, кто на нашей стороне может его изменить и что при этом попадает в журнал».
Схематичный экран без привязки к реальному продукту. Слева — блок готового ответа с тремя выделенными фрагментами и пометками «сумма не сошлась с 1С», «срок не найден в регламенте», «формулировка предложена агентом». Справа — панель с полем «источник: пункт 4.2 регламента» и двумя кнопками: «Отправить» и «Передать человеку». Внизу строка журнала: «подготовлено 14:02, подтверждено 14:03, оператор». Чертёжный стиль, все подписи по-русски.
Когда ступень поднимать нельзя даже при хорошей статистике
Хорошая статистика — необходимое условие подъёма, но не достаточное. Есть четыре ситуации, в которых ступень остаётся прежней, сколько бы месяцев чистой работы ни накопилось, и подрядчик, который предлагает подъём в любой из них, экономит на вашем риске.
- Данные, на которых агент работает, меняются чаще, чем проверяется качество. После смены прайса, регламента или условий доставки накопленная статистика описывает уже другую систему. Прежде чем поднимать ступень, нужен прогон контрольного набора на обновлённых данных, иначе вы измеряете прошлое.
- Ошибка становится обязательством перед клиентом или третьей стороной. Сюда попадают все обещания, деньги, сроки и всё, что уходит в отчётность. Цена одного случая здесь не сравнивается с месячной экономией на подтверждениях.
- Нет владельца, который отвечает за поведение агента. Если после подъёма ступени непонятно, кто разбирает сигналы и кто отвечает за ошибку, ступень поднимать некому — сначала роль, потом права.
- Выборочный контроль фактически не ведётся. Четвёртая ступень без проверки 3–5 % случаев в месяц — это не автономность, а отсутствие контроля: деградация после смены прайса или регламента обнаруживается по жалобам клиентов, а не по метрике.
И отдельная ситуация, в которой методика вообще не нужна. Если однотипных операций меньше 20–30 в день, разговор о ступенях преждевременен: сотрудник закрывает такой поток без очереди подтверждений, а любая доработка контура — от 105 000 ₽ — вернётся годами. На таком объёме полезен агент, который только читает: ищет по архиву, готовит сводки, подсказывает, где лежит нужный документ. Права на действие ему не нужны, а вместе с ними не нужны ни ступени, ни журнал подтверждений, ни выборочный контроль.
Агент не должен быть смелее, чем позволяет кнопка «отменить». Всё, что за её пределами, он готовит, а не делает.
