Промпт перестаёт быть решением, когда правки начинают конкурировать друг с другом: новая формулировка чинит сценарий, ради которого её вносили, и ломает соседний, который никто не проверял. Если это повторяется третий месяц подряд, дело не в мастерстве того, кто пишет текст, — вы дошли до потолка метода. Дальше правки становятся способом откладывать решение, а не решать.
Заметить момент трудно, потому что каждая отдельная правка выглядит обоснованной. Клиент пожаловался, поведение поправили, поведение изменилось — работа сделана. Провал виден только в сумме: за квартал внесено четырнадцать правок, инструкция выросла вдвое, доля эскалаций не снизилась, а жалобы приходят по тем же темам, что и в первый месяц. Поэтому диагноз ставится не по ощущению, а по числам, и числа эти снимаются с журнала диалогов за один вечер.
Ниже — шесть признаков с рабочими порогами, три корневые причины, которые формулировками не лечатся, способ отличить дефект инструкции от дефекта системы за один разбор двадцати диалогов, расчёт «продолжать править против доработать» и порядок величин по срокам и бюджету для трёх типовых сценариев перехода. Ставки модельные: инженер подрядчика 3 000 ₽/час, методист внутри компании 900 ₽/час, оператор 700 ₽/час. Сквозной пример прежний — оптовая компания с интернет-магазином и потоком 1 500 обращений в месяц.
Шесть признаков и их пороги
Каждый признак сам по себе не приговор: любой из них может объясняться разовыми обстоятельствами вроде смены прайса или сезонного всплеска. Диагноз ставится по двум одновременно, и почти всегда одним из двух оказывается первый или четвёртый.
| Признак | Рабочий порог | Что за ним обычно стоит |
|---|---|---|
| Частота правок логики | Больше 4 в месяц три месяца подряд | Требования не стабилизировались или промптом закрывают дыру в данных |
| Длина инструкции | Больше 8 000 знаков после выноса фактов в базу знаний | Правила дублируются и конкурируют; предсказать последствия правки уже нельзя |
| Доля эскалаций на человека | Выше 35 % и не снижается три месяца | Агент осторожничает, потому что не имеет доступа к тому, что нужно для ответа |
| Повторяющийся класс ошибок | Один и тот же класс возвращается после трёх правок | Причина не в формулировке: её меняли трижды разными словами с одним результатом |
| Прохождение контрольного набора | Стабильно 26–28 из 30, доводка не выводит на 30 | Требования внутри инструкции противоречат друг другу — выиграть везде нельзя |
| Доля повторных обращений по той же теме | Выше 15 % и не падает | Ответы формально верные, но задачу клиента не закрывают |
Пятый признак — самый информативный и самый недооценённый. Пока набор из тридцати контрольных диалогов после доводки возвращается к 30 из 30, вы находитесь в пределах метода: правку можно довести. Когда он третий раз подряд упирается в 27–28 и каждая попытка вытянуть один диалог роняет другой, это уже не недоработка формулировки, а конфликт требований внутри одной инструкции. Как устроен набор и почему он ловит именно такие вещи, разобрано в материале про регресс-тесты и версионирование промптов.
Комбинированная диаграмма за шесть месяцев. Столбцы — «правок логики в месяц»: 6, 4, 3, 5, 6, 7. Горизонтальная штриховая линия на отметке 4 подписана «рабочий порог». Поверх столбцов линия по второй оси — «прохождение контрольного набора»: 30, 30, 29, 28, 27, 27 из 30, с подписью у последних трёх точек «доводка не выводит на 30». Ось X — месяцы, левая ось Y — число правок, правая ось Y — диалогов из 30.
Три причины, которые текстом не лечатся
Признаки говорят, что метод исчерпан. Причин при этом всего три, и они различаются тем, чего именно агенту не хватает. Понять, какая из них ваша, важнее, чем понять, что промпт исчерпан: от этого зависит и сценарий доработки, и её бюджет.
- 1Причина 1. Факта нет в материалах агента
Ответ существует — в письме менеджера, в приложении к договору, в голове старшего кладовщика, — но в документах, по которым агент ищет, его нет. Симптом узнаваемый: агент отвечает общими словами и часто эскалирует, а сотрудник на тот же вопрос отвечает за минуту. Никакая формулировка не заставит модель узнать то, чего ей не показали. Лечится подготовкой базы знаний, и работа эта в основном не техническая: документы надо собрать, разбить на фрагменты, датировать и назначить ответственного за актуальность.
- 2Причина 2. Нет доступа к системе, где факт лежит
Остаток, статус заказа, дата отгрузки, задолженность — всё это есть в учётной системе, но у агента нет инструмента, чтобы туда обратиться. Здесь особенно опасно чинить промптом: под давлением формулировок вроде «отвечай точнее» модель начинает называть правдоподобные цифры, и вежливый неверный ответ хуже честного «уточню». Лечится подключением инструмента — с правами, обработкой ошибок и правилом «нет ответа системы — нет цифры»; состав такой работы мы описываем в разделе интеграций.
- 3Причина 3. Задача требует расчёта, а не текста
Цена по объёму и договорным условиям, срок по маршруту и складу отгрузки, скидка по накопленному обороту. Это арифметика с условиями, и её место в коде: правило пишется за часы, работает одинаково всегда и объясняется клиенту в одну строку. Модель на этой задаче стоит токенов на каждом обращении, требует набора тестов и в какой-то доле случаев ошибается. Граница между тем, что считает код, и тем, что составляет модель, разобрана в опорной статье раздела про то, что должно жить в промпте, а что в коде.
Типичная реакция на признак «слишком много эскалаций» — усилить в инструкции требование отвечать самостоятельно. Доля эскалаций действительно падает, отчётность улучшается, и это выглядит как успех. На деле агент начал отвечать по тем обращениям, по которым раньше честно звал человека, — теми же данными, которых у него по-прежнему нет. Смотрите в этот момент не на долю эскалаций, а на долю повторных обращений: она пойдёт вверх.
Схема из трёх вертикальных дорожек с общим заголовком «Жалоба: агент отвечает мимо». В каждой дорожке сверху вниз три блока. Первая: «Факта нет в материалах» → «симптом: общие слова, много эскалаций» → «решение: база знаний с поиском». Вторая: «Нет доступа к системе» → «симптом: правдоподобные, но неверные цифры» → «решение: подключение инструмента». Третья: «Нужен расчёт» → «симптом: ошибки в цене и сроках при верной логике» → «решение: правило в коде». Слева от всех трёх дорожек перечёркнутый блок с подписью «правка формулировки», от него штриховая стрелка, упирающаяся в тупик.
Разбор двадцати диалогов: как поставить диагноз за три часа
Процедура простая и не требует ни доступа к коду, ни участия подрядчика. Она стоит трёх часов методиста — 2 700 ₽ по модельной ставке, то есть впятеро дешевле одной правки логики, — и заменяет месяц догадок.
- 1Выберите двадцать диалогов за последний месяц, где агент ответил не так, как надо. Не самые тяжёлые, а типичные: тяжёлые случаи почти всегда единичны и уводят разбор в сторону.
- 2Для каждого запишите, каким ответ должен был быть по существу. Это делает человек, который знает процесс, а не тот, кто пишет инструкцию, — иначе разбор выродится в оценку формулировок.
- 3Пометьте каждый диалог одной из четырёх причин: дефект формулировки, факта нет в материалах агента, нет доступа к системе, задача требует расчёта или человеческого суждения. Ровно одной — главной; при сомнении выбирайте ту, устранение которой само по себе закрыло бы случай.
- 4Посчитайте распределение. Если 12 и более из 20 попали в причины со второй по четвёртую, правки промпта проблему не решат, сколько бы их ни было. Если причина «дефект формулировки» набрала 12 и больше, вы всё ещё внутри метода, и правильный следующий шаг — разбор инструкции по блокам, а не доработка системы.
- 5Посмотрите, сгруппировались ли метки. Если одна причина набрала 15 и более, сценарий доработки уже определён — остаётся оценить объём. Если метки размазаны поровну, начинайте с той, которая закрывает больше обращений на потоке, а не с самой интересной инженерно.
Порог 12 из 20 выбран не из статистики, а из практики: при таком распределении даже идеальная инструкция оставит больше половины расхождений на месте, и дальнейшие правки будут перекладывать проблему между сценариями. Обратный случай тоже встречается и стоит проверки — иногда разбор показывает, что двенадцать из двадцати расхождений это чистая формулировка, а компания уже готова платить за интеграцию.
Что дешевле: продолжать править или доработать
Сравнение считается на потоке правок и на нагрузке, которую агент не снял. Возьмём модельную ситуацию, где разбор показал причину «нет доступа к учётной системе»: агент не видит статусы заказов, поэтому не может ответить на самый частотный вопрос и отдаёт эти диалоги операторам.
Обратите внимание, что бо́льшая часть потерь — не упущенная выгода, а прямые платежи за правки, которые не сходятся. Их легко не заметить: они приходят разными счетами по 13 600 ₽, и каждый по отдельности обоснован. Разложение этих часов по этапам разобрано в материале про то, сколько стоит доработка промпта; там же граница между тем, что входит в абонентскую поддержку, и тем, что считается отдельной задачей.
| Сценарий доработки | Когда выбирают | Что делается | Срок | Порядок бюджета |
|---|---|---|---|---|
| База знаний с поиском | Ответ есть в документах, но агент их не видит | Сбор и разбиение документов, датирование редакций, поиск, ссылка на источник в ответе | 3–8 недель | 150 000–300 000 ₽ |
| Интеграция с учётной системой | Факт лежит в 1С или CRM, у агента нет инструмента | Подключение инструмента, права доступа, обработка ошибок и таймаутов, правило «нет ответа — нет цифры» | 3–6 недель | 150 000–400 000 ₽ |
| Отдельный сервис расчёта | Ответ надо посчитать: цена по объёму, срок по маршруту | Правила выносятся в код, агент только вызывает и пересказывает результат | 2–5 недель | 120 000–350 000 ₽ |
Вилки широкие, и разброс объясняется не жадностью, а состоянием исходных данных. База знаний на 200 аккуратных документов в текстовом виде и та же база в сканах с таблицами различаются по трудоёмкости вдвое. Интеграция с типовой конфигурацией 1С и с доработанной под компанию — тоже. Поэтому оценка всегда идёт после разбора, а не до него; готовое решение с поиском по документам мы описываем на странице корпоративной базы знаний.
Три горизонтальные ленты времени одна под другой, общая шкала в неделях от 0 до 8. Верхняя — «База знаний с поиском», отрезок 3–8 недель, подпись справа «150 000–300 000 ₽». Средняя — «Интеграция с учётной системой», отрезок 3–6 недель, подпись «150 000–400 000 ₽». Нижняя — «Отдельный сервис расчёта», отрезок 2–5 недель, подпись «120 000–350 000 ₽». Слева от каждой ленты пометка о признаке выбора: «факта нет в материалах», «нет доступа к системе», «нужен расчёт». Внизу общая подпись «оценка после разбора 20 диалогов, а не до него».
Когда доработка тоже не поможет
Признать предел промпта — полдела. Есть три ситуации, в которых переход к интеграции или базе знаний окажется такой же отсрочкой, какой были правки, и правильный ответ звучит иначе.
- Процесс не описан у людей. Если на вопрос «каким должен быть ответ» три сотрудника отвечают по-разному, автоматизировать нечего: агент честно воспроизводит разнобой, который есть в компании. Сначала регламент и единая версия ответа, потом инструкция. Это дешевле любой доработки и почти всегда обнаруживается на разборе двадцати диалогов.
- Данных нет ни в какой системе. Условия для конкретного клиента живут в переписке менеджера, сроки — в договорённостях по телефону, а склад считает остатки в конце дня. Интеграция даст агенту доступ к тому, чего в системе нет, и добавит уверенности неверным ответам. Здесь сначала учётная дисциплина, потом агент.
- Задача требует суждения и ответственности. Решение по рекламации, скидка сверх правил, спорная гарантия, оценка рисков по контрагенту. Это не дефект технологии, а граница её применимости: такие обращения агент должен уметь узнавать и отдавать человеку быстро и без попыток разобраться. Когда стоит признать, что дальше идти не надо, разобрано отдельно в материале про то, когда остановить проект автоматизации.
Снимите два числа: сколько правок логики внесено за последние три месяца и какая доля обращений уходит на человека. Если правок больше двенадцати, а доля эскалаций не изменилась, назначьте разбор двадцати диалогов — три часа методиста и 2 700 ₽. Это самый дешёвый шаг из всех возможных, и он либо вернёт вас к правкам с понятной целью, либо избавит от следующих пяти счетов по 13 600 ₽.
Правка промпта — это гипотеза о том, что агент знает достаточно и просто неудачно говорит. Пятая подряд правка по одной теме означает, что гипотеза проверена и не подтвердилась.
