Когда агент отвечает не так, как написано в инструкции, причина почти всегда одна из девяти и почти всегда находится за пятнадцать минут чтения самого текста. Модель не игнорирует правила из вредности: она получает инструкцию, найденные фрагменты документов и сообщение клиента одним куском и взвешивает все требования сразу. Если два требования противоречат друг другу, если правило сформулировано как пожелание или если нужного правила в тексте просто нет — поведение становится непредсказуемым, и выглядит это как «бот тупит».
Дальше — девять конкретных дефектов формулировок. По каждому: как он проявляется в диалоге, где его искать в тексте инструкции и как выглядит исправленная формулировка. Пары «было — стало» взяты с инструкций агента продаж и агента поддержки оптовой компании с интернет-магазином — это сквозной пример всего раздела, поток 1 500 обращений в месяц в чатах и почте.
Отдельно — расчёт по самому дорогому из девяти дефектов, три диагностических вопроса, которые отличают ошибку инструкции от ошибки данных, и признаки перегруженного текста. Все суммы модельные, по прозрачным ставкам: инженер подрядчика 3 000 ₽/час, методист или старший оператор внутри компании 900 ₽/час, оператор 700 ₽/час, руководитель направления 2 000 ₽/час.
Почему одно правило в инструкции ослабляет остальные
Инструкция агента ведёт себя не как список настроек, а как текст, который читают целиком. У правил нет порядкового приоритета, если вы его не написали, и нет изоляции: новое требование не добавляется к старым, а конкурирует с ними. Отсюда практическое следствие, из которого вырастает большинство дефектов: чем больше правил в инструкции, тем слабее каждое из них.
Второе следствие менее очевидно. Модель обучена быть полезной, и это поведение сильнее любой отдельной строки вашего текста. Поэтому правила, которые мешают ей помочь прямо сейчас, — отказ, передача диалога человеку, запрет называть цифру — проигрывают чаще остальных. Ровно на этой границе живут дефекты 2, 8 и 9 из списка ниже, и они же дают самые дорогие инциденты.
Формулировка, о которой посторонний человек, глядя на ответ агента, не может однозначно сказать, выполнена она или нет. Это рабочее определение, и оно удобно тем, что превращает спор о качестве промпта в проверку: возьмите правило, возьмите пять ответов и попробуйте расставить «выполнено / не выполнено» без обсуждений. Если не получается — правило не сформулировано, как бы аккуратно оно ни было написано.
Девять дефектов: как каждый виден в диалоге
Таблица ниже — диагностическая. Читатель обычно приходит со стороны левого края второй колонки: жалоба сформулирована как «агент путает цены» или «он отвечает по-разному». Третья колонка говорит, в какой части текста искать причину; строение инструкции по блокам разобрано в материале про каркас из восьми блоков.
| № | Дефект | Как виден в диалоге | Где искать в тексте |
|---|---|---|---|
| 1 | Два правила об одном и том же | Поведение «через раз»: на один и тот же вопрос в понедельник и в среду разные ответы | Две строки про одно, оставшиеся в разных блоках после двух инцидентов |
| 2 | Правила без приоритета | В конфликте побеждает вежливость: агент раскрывает то, чего не должен, «чтобы помочь» | Общее «будь полезен клиенту» рядом с частными запретами |
| 3 | Отрицание без замены | Формулировка отказа каждый раз новая, иногда неудачная | Правила, начинающиеся со слова «не» |
| 4 | Оценочное пожелание без порога | Разброс длины и полноты от ответа к ответу без видимой причины | Слова «старайся», «по возможности», «не слишком», «излишне» |
| 5 | Открытый перечень тем | Агент берётся за темы, которых в перечне нет, и уходит в чужую зону | Обороты «и т. п.», «например», «в том числе» |
| 6 | Факт внутри инструкции | Агент уверенно называет прошлогодний срок и прошлогоднюю цену | Любые цифры, даты и суммы в самом тексте инструкции |
| 7 | Роль без адресата | Ответы усреднены: оптовику про розничные условия и наоборот | Первый абзац инструкции |
| 8 | Запрет в форме просьбы | Правило держится, пока клиент не настаивает второй раз | «Постарайся не», «желательно», «нежелательно» |
| 9 | Нет сценария на «ответа нет» | Вместо отказа — уверенный вымышленный ответ | Блок источников фактов: отсутствует описанное поведение при пустом поиске |
Обратите внимание на первую строку: поведение «через раз» — самая частая жалоба и самый недооценённый симптом. Его обычно списывают на природу модели («она же вероятностная»), а на деле в девяти случаях из десяти в тексте лежат две конкурирующие формулировки, появившиеся после двух разных инцидентов с разницей в месяц. Недетерминированность ответа действительно есть, но она даёт разброс формулировок, а не разброс поведения.
Абстрактный лист документа с заголовком «Инструкция агента» и восемью подписанными секциями сверху вниз: «1. Роль», «2. Границы», «3. Источники», «4. Инструменты», «5. Тон», «6. Формат», «7. Эскалация», «8. Стоп-правила». На полях девять пронумерованных выносок, привязанных стрелками к секциям: 7 к «Роль», 5 к «Границы», 9 и 6 к «Источники», 4 к «Тон», 1 и 2 сразу к двум секциям каждая (дуга через весь лист), 3 к «Формат», 8 к «Стоп-правила». Каждая выноска подписана коротким названием дефекта. Чертёжный стиль, подписи по-русски.
Девять пар: было и стало
Правая колонка — не образец стиля, а образец проверяемости. В каждой исправленной формулировке есть либо число, либо закрытый перечень, либо предписанное действие вместо оценки. Это и есть весь секрет: модель хорошо исполняет условия и плохо — намерения.
| № | Было в инструкции | Стало |
|---|---|---|
| 1 | «Всегда называй срок отгрузки» — и через страницу: «Не называй сроки, если их нет в системе» | «Срок отгрузки называй только из ответа инструмента статуса заказа. Инструмент не ответил — пиши: Уточню срок у логиста и вернусь, и передавай диалог» |
| 2 | «Будь максимально полезен клиенту. Не раскрывай условия других клиентов» | «Правила из списка ниже сильнее правила быть полезным. Если они конфликтуют, выполняй правило из списка и объясняй отказ одной фразой» |
| 3 | «Не обещай точных дат доставки» | «Называй интервал из ответа инструмента и добавляй фразу: дата уточняется при отгрузке. Интервала нет — не называй ничего и передавай диалог менеджеру» |
| 4 | «Старайся не грузить клиента подробностями про условия оплаты» | «Условия оплаты называй одной строкой: способ и срок. Полный перечень не пересказывай — дай название документа из базы знаний и его редакцию» |
| 5 | «Ты отвечаешь на вопросы про наличие, цены, сроки и т. п.» | «Ты отвечаешь только на вопросы из перечня: наличие, цена по прайсу, срок отгрузки, статус заказа, реквизиты. Тема вне перечня — фраза Передаю менеджеру и вызов инструмента передачи» |
| 6 | «Стандартный срок отгрузки — 2 рабочих дня, для Урала и Сибири 4–6 дней. Минимальная партия — 10 000 ₽» | «Сроки отгрузки и минимальную партию бери из базы знаний, документ Условия отгрузки, и называй вместе с датой его редакции» |
| 7 | «Ты — вежливый и опытный ассистент компании, который помогает клиентам» | «Ты отвечаешь от лица оптового отдела покупателям-юрлицам в чате на сайте и в почте. Розничных покупателей не консультируешь: им одна фраза со ссылкой на интернет-магазин» |
| 8 | «Постарайся не обещать скидок без согласования» | «Скидку не называешь никогда и ни в каком виде, включая оборот обычно даём около. На просьбу о скидке — фраза Скидки согласует менеджер, передаю диалог и вызов инструмента» |
| 9 | «Отвечай на основе материалов компании» | «Отвечай только по приведённым фрагментам и ответам инструментов. Подходящего фрагмента нет — пиши: Такой информации у меня нет, передаю менеджеру, и вызывай инструмент передачи. Своими знаниями не пользуйся» |
Самый частый способ получить дефект №1 — дописать после инцидента ещё одну формулировку, не тронув старую. Через квартал в тексте живут три правила про сроки, слегка расходящиеся между собой, и агент каждый раз выбирает, какому следовать. Если новая формулировка нужна рядом со старой, значит, старая была неверной, и её место в истории версий, а не в действующей редакции.
Самый дорогой дефект: факты внутри инструкции
Дефект №6 стоит отдельного разбора, потому что он единственный из девяти, который дорожает сам по себе — без новых инцидентов, просто от течения времени. Прайс меняется, сроки отгрузки меняются, минимальная партия меняется, а инструкция остаётся. И пока она остаётся, агент называет старые цифры уверенно и вежливо, потому что для него это не устаревшие данные, а действующее правило.
Второй эффект: каждое изменение прайса превращается в перевыпуск инструкции. Это не бесплатная операция — правку надо сформулировать, внести, прогнать на контрольном наборе из тридцати диалогов и выкатить. И между изменением прайса и перевыпуском всегда есть окно, в котором агент отвечает по старому.
Доли 30 % и 15 % здесь — иллюстрация порядка величины, а не измеренная константа: на своём потоке они снимаются за вечер по журналу диалогов. Устойчива только форма зависимости: пока цифры лежат в тексте инструкции, стоимость дефекта растёт вместе с частотой изменений прайса, а не с числом жалоб. Компания, которая правит цены раз в квартал, этого дефекта почти не чувствует; компания, у которой цены меняются десять раз в месяц, платит по той же арифметике втрое больше — около 78 000 ₽.
Две вертикальные колонки на одной рублёвой шкале от 0 до 25 000. Левая колонка подписана «Каждый месяц, пока цифры в инструкции» и составлена из двух сегментов: «Три перевыпуска инструкции — 16 200 ₽» и «Разбор 18 обращений с устаревшей цифрой — 7 344 ₽», общая высота 23 544 ₽. Правая колонка подписана «Разово: вынос фактов в базу знаний» высотой 14 100 ₽. Между колонками горизонтальная выноска «окупается за 18 дней». Подписи по-русски, чертёжный стиль.
Три вопроса: дефект инструкции или дефект данных
Половина заявок «поправьте промпт» приходит на задачи, которые промптом не решаются вообще. Отличить одно от другого можно за пятнадцать минут тремя вопросами — их задают не агенту, а себе, глядя на конкретный неудачный диалог.
- 1Вопрос 1. Может ли человек ответить теми же материалами?
Дайте старшему оператору ровно те фрагменты документов и ответы систем, которые видел агент, и задайте тот же вопрос клиента. Если человек тоже не может ответить — это дефект данных, и никакая формулировка его не вылечит. Этот вопрос решает дело примерно в половине случаев и потому идёт первым.
- 2Вопрос 2. Есть ли в инструкции строка, которую агент нарушил?
Найдите правило, о котором идёт речь, и прочитайте его вслух. Если строки нет — это дефект полноты, лечится дописыванием блока. Если строка есть, но она из левой колонки таблицы выше — это дефект формулировки, и лечится он заменой, а не усилением: «обязательно не забывай» работает ровно так же, как «не забывай».
- 3Вопрос 3. Повторяется ли ошибка после трёх переформулировок?
Если один и тот же класс ошибок возвращается после трёх разных попыток переписать правило, дело не в словах. Обычно за этим стоит одно из трёх: у агента нет доступа к системе, где лежит нужный факт; требования внутри инструкции противоречат друг другу неустранимо; задача требует расчёта, а не текста. Пороги и порядок действий разобраны отдельно — когда промпт уже не спасает.
Практический ориентир по объёму разбора: двадцати диалогов достаточно, чтобы диагноз перестал быть спорным. Если двенадцать и больше расхождений из двадцати попали в ответ «нет данных» или «нет доступа», правки текста дадут в лучшем случае более вежливый отказ. Если наоборот — большинство расхождений упирается в формулировки, — таблица из девяти пар закрывает почти весь список.
Сравнение в две колонки: слева «Дефект инструкции», справа «Дефект данных или доступа». Шесть строк признаков: «Человек с теми же материалами» — «отвечает уверенно» / «тоже не может ответить»; «Ошибка после переформулировки» — «уходит» / «возвращается в третий раз»; «Что меняется от правки» — «поведение» / «только вежливость отказа»; «Где искать» — «строка в тексте инструкции» / «база знаний или доступ к системе»; «Порядок трудоёмкости» — «2–8 часов» / «недели и отдельный бюджет»; «Порог на разборе 20 диалогов» — «до 8 расхождений» / «12 и более расхождений». Чертёжный стиль, подписи по-русски.
Перегруженный промпт: когда текст пора резать
Длина сама по себе не дефект. Дефект — это когда одно и то же требование сформулировано в тексте трижды разными словами и вы уже не можете предсказать, что сломает следующая правка. Рабочий объём инструкции после выноса фактов — 2 800–5 600 знаков, то есть одна-две страницы. Всё, что стабильно держится выше 8 000 знаков, обычно означает, что часть содержимого попала не туда.
- В тексте живут цифры. Прайс, сроки, лимиты, реквизиты — это факты, и их место в базе знаний с датой редакции, а не в инструкции. Признак: правка прайса требует перевыпуска промпта. Дефект №6 из таблицы, расчёт выше.
- Одно правило описано трижды. Три формулировки про сроки, появившиеся после трёх инцидентов. Оставить одну — самую конкретную; две убрать в историю версий. Обычно это минус 1 500–2 500 знаков за один проход.
- В инструкцию заехали редкие случаи. Правило, которое срабатывает раз в квартал, занимает место в каждом запросе и конкурирует с правилами, работающими ежедневно. Такие случаи либо уходят в корпоративную базу знаний, либо остаются людям.
- Стоп-правила растут после каждого инцидента. Это симптом того, что запреты пытаются держать текстом. Часть из них обязана переехать в проверку перед отправкой и в права доступа — почему запрет, живущий только в промпте, обходится, разобрано отдельно.
Чистка по этим четырём пунктам на инструкции в 11 000 знаков обычно даёт 4 000–4 500 знаков рабочего текста и занимает 6–8 часов методиста вместе с прогоном набора. Это не косметика: после чистки правки снова становятся предсказуемыми, а прохождение контрольного набора перестаёт скакать. И только после этого имеет смысл спорить о формулировках.
Сравнение двух вертикальных полос-инструкций на одной шкале знаков от 0 до 12 000. Левая подписана «До чистки — 11 000 знаков» и разбита на сегменты: «Правила — 4 200», «Цифры и прайс — 2 600», «Дубли одного правила — 2 300», «Редкие случаи — 1 900». Правая подписана «После чистки — 4 200 знаков» и состоит из одного сегмента «Правила». Между полосами три стрелки вправо с подписями «в базу знаний», «в историю версий», «людям». Внизу подпись «6–8 часов методиста вместе с прогоном набора». Чертёжный стиль, подписи по-русски.
Когда чинить формулировки не надо
Разбор инструкции стоит времени: полная разметка по девяти дефектам с парами «было — стало» — это 6–10 часов методиста и инженера вместе. Есть три ситуации, где эти часы не окупаются, и честнее сказать об этом до начала работ.
- Диагноз указывает на данные. Двенадцать и больше расхождений из двадцати попали в «нет данных» или «нет доступа». Здесь любая правка текста меняет только форму отказа. Правильный следующий шаг — подключить недостающий источник, а не переписывать промпт: варианты и порядок величин разобраны в материале про пределы метода.
- Агент не разговаривает с клиентом. Если модель классифицирует обращения, извлекает поля из счёта или собирает резюме звонка, у ответа один читатель — ваш же сотрудник, и он видит ошибку до того, как что-то произойдёт. Здесь качество вытягивается примерами и разметкой, а не формулировками: инструкции на такую задачу хватает трёх-четырёх абзацев.
- Правку просят под один разовый случай. Один недовольный клиент — это не основание менять правило, действующее на 1 500 обращений в месяц. Дешевле и безопаснее закрыть частный случай условием в коде или отдельным шаблоном ответа, чем добавлять в текст десятое правило, которое будет конкурировать с девятью работающими.
Откройте действующую инструкцию своего агента и найдите в ней все цифры: суммы, сроки, проценты, лимиты. Если их больше трёх — у вас уже есть дефект №6, и он стоит денег каждый месяц независимо от того, жалуются на агента или нет. Это самая быстрая проверка из девяти: она занимает пять минут и не требует ни доступа к коду, ни участия подрядчика.
Хорошая инструкция отличается от плохой не изяществом формулировок, а тем, что по каждой строке можно сказать «выполнено» или «не выполнено», глядя на один ответ.
