Если после правки инструкции агент стал отвечать хуже, первое действие — откат на прошлую версию, и только потом расследование. Это контринтуитивно: хочется сначала понять, что сломалось. Но пока вы понимаете, поток идёт: на 1 500 обращениях в месяц это 68 диалогов в рабочий день, и каждый час разбирательства добавляет к счёту испорченные диалоги. Разбираться нужно на работающей системе, а не на сломанной.
Причина самого регресса почти всегда одна и та же. Инструкция агента — не список независимых правил, а цельный текст, который модель читает целиком и из которого выводит общий тон и приоритеты. Добавленная ради одного случая фраза меняет не один сценарий, а вес всех остальных: усилив требование отвечать короче, вы ослабили требование называть срок доставки, хотя формально его не трогали. Механику этого побочного эффекта мы подробно разбирали в материале про версионирование промптов и регресс-тесты — здесь речь о другом: что делать, когда уже сломалось.
Ниже — порядок действий на первые двое суток, три числа для отличия регресса от шума, четыре источника поломки с признаками каждого, список того, что правкой инструкции не чинится, и расчёт цены двух суток. Сквозной пример один на весь раздел: оптовая компания с интернет-магазином, 1 500 обращений в месяц в чатах и почте. Ставки модельные: инженер подрядчика 3 000 ₽/час, методист или старший оператор внутри компании 900 ₽/час, оператор 700 ₽/час, руководитель направления 2 000 ₽/час.
Первый час: откат, а не расследование
Откат стоит две минуты, если прошлая версия сохранена целиком и известно, как её вернуть. Если возврат к предыдущей редакции требует поиска в переписке, восстановления по памяти или звонка подрядчику — у вас нет отката, у вас есть надежда. Это первое, что нужно исправить, и исправляется оно до следующей правки, а не после.
- 1Час 0. Вернуть прошлую версию
Не «поправить обратно ту фразу», а вернуть текст целиком. Частичный откат оставляет вас с третьей редакцией, которую никто не проверял и в которой могут быть свои побочные эффекты. Решение принимает тот, у кого есть право выката, — обычно это методист или инженер поддержки, и это право должно быть выдано заранее, а не согласовываться в момент аварии.
- 2Час 0. Записать в журнал факт отката
Одна строка: время, номер версии, к которой вернулись, причина в двух словах. Без неё через неделю никто не вспомнит, что стоит в проде: версия 14, версия 15 или версия 15 с ручной правкой. Журнал версий инструкции — та же дисциплина, что и тестовый контур и откат релиза в обычной разработке.
- 3Час 1. Собрать десять последних жалоб
Не статистику, а сами диалоги: реплика клиента, ответ агента, чем недоволен человек. Десяти хватает, чтобы увидеть закономерность или её отсутствие. Читает методист, тридцать минут.
- 4Час 2. Проверить, что откат помог
Двадцать диалогов после отката, глазами. Если жалобы продолжаются с той же частотой, дело не в вашей правке — переходите к четырём источникам ниже. Это самая ценная развилка суток: она отсекает половину неверных расследований.
- 5Сутки. Воспроизвести поломку на прошлой правке
Спокойно, на тестовом контуре, с прогоном контрольного набора: было 30 из 30, стало 26 из 30, вот четыре карточки с расхождениями. Только после этого формулируется новая правка — та, которая чинит исходную жалобу и не роняет эти четыре.
«Уберу добавленную фразу и всё вернётся» работает, только если правка была одна и вы точно помните её границы. На практике за неделю накапливается три-четыре мелких изменения от разных людей, и убирание последнего оставляет систему в состоянии, которого никогда не существовало. Возвращать нужно зафиксированную версию целиком, а не редактировать текущую по памяти.
Горизонтальная лента времени с пятью отметками: «Час 0 — откат к прошлой версии, запись в журнал», «Час 1 — десять последних жалоб глазами», «Час 2 — проверка: помог ли откат», «Сутки — воспроизведение на тестовом контуре, прогон набора 26 из 30», «Двое суток — новая правка и ступенчатый выкат». Под лентой параллельная полоса с подписью «поток продолжается: 68 диалогов в рабочий день» и делениями по часам. От отметки «Час 2» вниз отходит развилка с двумя подписями: «жалобы прекратились — это была ваша правка» и «жалобы продолжаются — ищите другой источник». Чертёжный стиль, подписи по-русски.
Три числа — и почему в первые сутки они молчат
Числа, по которым видно состояние агента, снимаются без аналитической системы, из выгрузки диалогов. Их три, и у каждого есть базовое значение и порог тревоги.
| Что меряем | Базовое значение | Порог тревоги | Окно наблюдения |
|---|---|---|---|
| Доля диалогов, переданных человеку | 8 % | 12 % и выше | 3 рабочих дня |
| Повторные обращения по той же теме за 7 дней | 12 % | 15 % и выше | 7 дней |
| Средняя длина ответа, знаков | 480 | Отклонение больше 30 % в любую сторону | 2 рабочих дня |
Теперь честная оговорка, которой обычно нет в статьях про метрики. В первые сутки эти числа ничего не показывают. На 68 диалогах в рабочий день доля эскалаций 8 % — это пять-шесть диалогов. Разница между пятью и восемью эскалациями укладывается в обычный дневной разброс: столько же даёт один сложный клиент или одна рассылка. Чтобы сдвиг на 4 процентных пункта перестал быть шумом, нужно около двухсот диалогов, то есть три рабочих дня. Порядок величин по размеру выборки мы разбирали в материале про A/B-тест промптов — арифметика здесь та же.
Поэтому решение первых суток принимается качественно, а не количественно: десять последних жалоб, прочитанных глазами. Если в семи из десяти виден один и тот же дефект — это регресс, откатывайтесь немедленно и не ждите статистики. Если десять жалоб про десять разных вещей — это обычный фон, и правка, скорее всего, ни при чём. Числа из таблицы подтверждают вывод на третий день, а не принимают решение в первый.
Линейный график за 10 рабочих дней. По вертикали — доля диалогов, переданных человеку, в процентах, от 0 до 20. Тонкая ломаная «по дням» сильно колеблется и несколько раз случайно пересекает горизонтальную линию порога 12 %. Толстая линия «скользящее окно 3 дня» гладкая: держится около 8 % до вертикальной отметки «выкат правки» на шестом дне, после неё уходит к 14 %. Горизонтальная штриховая линия подписана «порог тревоги 12 %». Внизу примечание «68 диалогов в рабочий день». Оси и подписи по-русски.
Четыре источника регресса — и только два ваши
Правка инструкции — самый заметный, но не единственный способ сломать агента. Прежде чем переписывать текст, стоит проверить остальные три источника: примерно в трети случаев дело в них, и тогда любая правка формулировок только замаскирует симптом.
| Источник | Как отличить | Что делать |
|---|---|---|
| Правка текста инструкции | Откат помог: после возврата прошлой версии жалобы прекратились в течение часа | Воспроизвести на тестовом контуре, прогнать набор, переформулировать правку |
| Изменение данных под агентом: база знаний, прайс, справочник | Откат не помог, но ошибки сосредоточены в одной теме и все про факты | Проверить дату редакции документов и переиндексацию базы знаний |
| Смена версии модели у провайдера | Откат не помог, ошибки разбросаны по темам, изменилась средняя длина ответа | Сверить идентификатор версии в журнале, при необходимости закрепить прежнюю |
| Изменение самого потока обращений | Ответы прежние, изменился состав вопросов: рассылка, сезон, новый тариф, реклама | Не чинить агента — добавить сценарий на новую тему или временно усилить эскалацию |
Четвёртая строка встречается чаще, чем кажется, и обходится дороже всех: компания правит агента, который работает нормально. Классический случай — маркетинг запустил акцию, не предупредив поддержку. В чат приходят вопросы про условия, которых нет ни в инструкции, ни в базе знаний, агент отвечает «не знаю» и передаёт диалог человеку. Доля эскалаций растёт вдвое, все считают, что бот сломался, и три недели правят формулировки. Лечится это не промптом, а тем, что новая акция появляется в базе знаний до запуска рекламы.
Схема-дерево решений с корневым блоком «Агент стал отвечать хуже». Первая развилка: «Откат помог?» — ветка «да» ведёт в блок «Источник: ваша правка текста». Ветка «нет» ведёт ко второй развилке «Ошибки сосредоточены в одной теме и все про факты?» — «да» ведёт в блок «Источник: данные под агентом». «Нет» ведёт к третьей развилке «Изменилась средняя длина ответа больше чем на 30 %?» — «да» в блок «Источник: версия модели у провайдера», «нет» в блок «Источник: изменился состав вопросов». У каждого конечного блока подпись с первым действием. Чертёжный стиль, подписи по-русски.
Регресс не от вас: обновление модели у провайдера
Модель под агентом обновляется независимо от вас. По состоянию на сентябрь 2026 года российские платформы выпускают новые редакции регулярно: у GigaChat это линейка от Lite до Max и отдельная версия 3.1 Ultra, у Яндекса — YandexGPT 5 внутри Yandex AI Studio. Новая редакция обычно лучше по общим замерам и при этом иначе реагирует на ваш конкретный текст: меняется средняя длина ответа, дисциплина следования формату, готовность признать незнание.
- 1Записывайте идентификатор версии модели в журнал рядом с версией инструкции. Одна строка на выкат. Без неё третий источник регресса от первого не отличается никогда: вы будете править текст под изменившуюся модель и считать, что виноваты формулировки.
- 2Не подключайтесь к «последней доступной версии», если платформа даёт закрепить конкретную. Автоматическое обновление удобно ровно до первого дня, когда агент внезапно начал отвечать вдвое короче. Переход на новую редакцию — плановая работа с прогоном набора, а не событие, которое случается с вами.
- 3Прогоняйте контрольный набор планово раз в две недели, даже если правок не было. Тридцать диалогов — 30–40 минут инженера. Это единственный способ узнать о смене поведения модели раньше, чем о ней сообщит клиент.
- 4При подтверждённом расхождении не переписывайте инструкцию сразу. Сначала сравните прогон на прежней и новой редакции модели на одном и том же тексте: если падение только на новой, задача — не правка формулировок, а решение, переходить сейчас или отложить.
Два вопроса, которые экономят месяцы разбирательств. Первый: записывается ли идентификатор версии модели в журнал выкатов и где я могу его посмотреть сам. Второй: что происходит, когда провайдер выпускает новую редакцию, — вы переводите нас автоматически или это отдельная плановая работа с прогоном набора. Внятные ответы на оба означают, что подрядчик уже сталкивался с этим классом инцидентов.
Что правкой инструкции не чинится
Три класса проблем выглядят как дефект формулировок и им не являются. Попытка починить их текстом даёт худший из возможных исходов: агент продолжает ошибаться так же, но формулирует увереннее — и ошибку становится труднее заметить.
| Симптом в диалоге | Что правят обычно | В чём дело на самом деле | Цена ошибочного пути |
|---|---|---|---|
| Агент называет старую цену или отменённое условие | Добавляют в инструкцию фразу «уточняй актуальную цену» | Факт лежит в тексте инструкции или в устаревшем документе базы знаний | 5 400 ₽ за перевыпуск и повтор ошибки через месяц |
| Агент не может сказать, где заказ клиента | Пишут «при вопросе о статусе заказа отвечай подробно» | У агента нет доступа к учётной системе, отвечать ему нечем | Правка не действует, жалобы продолжаются |
| Агент уверенно отвечает на вопрос, которого нет в документах | Усиливают запрет выдумывать | Дыра в базе знаний: темы нет ни в одном источнике | Запрет ослабляет остальные правила, поведение ухудшается |
Различить эти случаи можно за три часа разбора двадцати диалогов, и порядок такого разбора описан в материале про то, когда промпт уже не спасает. Практический признак: если правка касается факта, а не поведения, её место не в инструкции. Факты должны лежать в отдельном источнике с датой редакции — как устроен такой источник, показано на странице решения по корпоративной базе знаний.
Сколько стоят двое суток регресса
Без контрольного набора регресс обнаруживают по жалобам, и типичный срок обнаружения — двое-трое суток: первый день списывают на совпадение, на второй замечают закономерность. Считаем прямые расходы за двое суток без гипотез об испорченной репутации.
Прогон контрольного набора из 30 диалогов занимает 30–40 минут инженера, то есть около 1 500 ₽. Соотношение — шестнадцатикратное, и это при одном инциденте. Сборка самого набора стоит 22 часа и 35 600 ₽ разово, то есть окупается на второй предотвращённой поломке. Если набора у вас нет, это первая работа, которую стоит заказать, — раньше любых улучшений поведения агента.
Столбчатая диаграмма из двух столбцов с подписанными значениями. Левый, низкий: «Прогон набора перед выкатом — 1 500 ₽, 30–40 минут». Правый, высокий, разбитый на четыре сегмента с подписями: «разбор с клиентами 5 250 ₽», «поиск причины 2 700 ₽», «откат и повторный выкат 7 500 ₽», «два несостоявшихся заказа 9 000 ₽», общая подпись «Двое суток регресса — 24 450 ₽». Между столбцами крупная подпись «в 16 раз». Внизу примечание «30 испорченных диалогов из 136 за двое суток». Чертёжный стиль, подписи по-русски.
Когда откатывать не надо
Откат — дешёвое действие, но не бесплатное: он возвращает и ту проблему, ради которой правка делалась. Есть четыре ситуации, в которых правильнее оставить новую версию и дорабатывать её вперёд.
- Правка закрывала требование, которое нельзя нарушать. Если новая формулировка добавила обязательное предупреждение о предоплате или запрет называть цену без расчёта, откат возвращает нарушение. Здесь чинят вперёд: доработка поверх новой версии, а не возврат к старой.
- Жалобы касаются темы, которой правка не касалась. Совпадение по времени — не причинно-следственная связь. Проверьте на двадцати диалогах после отката: если картина не изменилась, вы откатили зря и потеряли улучшение.
- Правка выкатывалась ступенями и ещё идёт на доле трафика. Тогда сначала уменьшают долю, а не откатывают целиком: сравнение двух групп на одном потоке — самый быстрый способ доказать, что дело именно в правке.
- Идёт нагрузочный период: распродажа, сезон, рассылка. Откат в такой момент — это два выката подряд на пике потока. Если поведение агента не создаёт денежного или юридического риска, дешевле дожить до спокойного дня, усилив передачу диалогов человеку.
И общее правило, которое стоит больше всех перечисленных: регресс — это не аварийная ситуация, а штатная. Он будет случаться, потому что текст инструкции цельный, а требования к нему меняются. Компания, у которой есть журнал версий, контрольный набор и человек с правом отката, теряет на регрессе 1 500 ₽ и полчаса. Компания, у которой ничего этого нет, теряет 24 450 ₽ и двое суток, и так каждый раз. Кто именно в компании держит эту дисциплину, разобрано в материале про то, кто в компании отвечает за промпты.
