Агент отвечает хуже не потому, что «износился», и не потому, что модель что-то забыла. В пяти случаях из пяти причина внешняя: изменились документы, изменились вопросы, изменилась версия модели у провайдера или выросла нагрузка. Внутри системы при этом ничего не ломается — мониторинг доступности показывает зелёный, ошибок в логах нет, а качество ответов падает.
Сквозной пример этого раздела: клиентская поддержка, около 6 000 обращений в месяц, база знаний из 150 страниц. На приёмке доля отказов «не знаю» была 20 %, к третьему месяцу опустилась до 10 % и там стояла — это нормальный рабочий коридор. На седьмом месяце она составила 17 %, и первым это заметил не отчёт, а руководитель поддержки, к которому пошли жалобы операторов на вал переводов.
Общая механика дрейфа любой автоматизации разобрана отдельно в материале про деградацию системы автоматизации. Здесь — только то, что специфично для ИИ-агента: пять причин, три отчёта для диагноза, регламент обновления базы и формулировки в договор поддержки. Ставки в расчётах те же, что и во всём разделе: инженер 3 000 ₽/час, методист базы знаний 900 ₽/час, оператор 700 ₽/час.
Как деградация выглядит в цифрах
Одна метрика деградацию не показывает: доля отказов может вырасти и от честного ужесточения правил, и от развала базы знаний. Смотреть надо четыре числа вместе — они разводят эти два случая. Все берутся из журнала диалогов, дополнительной разработки не требуют, если журнал заведён по-человечески.
| Показатель | Третий месяц (норма) | Седьмой месяц | О чём говорит рост |
|---|---|---|---|
| Доля отказов «не знаю» | 10 % — 600 обращений | 17 % — 1 020 обращений | Система всё чаще не находит опоры в базе |
| Поиск не вернул ни одного фрагмента | 7 % | 15 % | Вопросы ушли за границы базы знаний |
| Повторное обращение по той же теме за 3 дня | 5 % | 12 % | Первый ответ формально дан, но задачу не решает |
| Ответы, опирающиеся на документ старше 6 месяцев | 18 % | 41 % | Базу перестали обновлять после сдачи проекта |
Ключевая пара — вторая и четвёртая строки. Если растёт доля пустого поиска, а возраст документов стоит на месте, изменились вопросы. Если растёт возраст документов, а поиск находит фрагменты исправно, база устарела и агент уверенно пересказывает отменённые условия. Это два разных ремонта, и путать их дорого.
Линейный график за семь месяцев. Ось X — месяцы с первого по седьмой, ось Y — доля отказов в процентах от 0 до 25. Линия: 20, 14, 10, 10, 12, 15, 17. Горизонтальная светлая полоса-коридор от 8 до 13 % подписана «допустимый коридор по договору». Точка пересечения линией верхней границы коридора на пятом месяце выделена и подписана «здесь должен был сработать замер», конечная точка подписана «17 %, обнаружено по жалобам». Чертёжный стиль, подписи по-русски.
Пять причин, и ни одна из них не поломка
Разбор нескольких десятков просевших систем даёт устойчивый список. Он короткий, и это хорошая новость: диагноз ставится перебором пяти вариантов, а не бесконечным исследованием.
| Причина | Как выглядит в отчётах | Что делают | Цена ремонта |
|---|---|---|---|
| Устарела база знаний | Растёт возраст документов в ответах, жалобы на неверные условия | Ревизия 150 страниц, отмена старых редакций, загрузка новых — 12 часов методиста | 10 800 ₽ |
| Изменились процессы и цены | Точечные жалобы про цену, срок, условия возврата при нормальных общих метриках | Перенос изменений в базу и три контрольных вопроса — 6 часов методиста | 5 400 ₽ |
| Сменился характер вопросов | Растёт доля пустого поиска, в топе отказов темы, которых не было на приёмке | 8 часов методиста на новые разделы плюс 4 часа инженера на правила маршрутизации | 19 200 ₽ |
| Провайдер обновил модель | Метрика падает разом, в один день; меняются длина, формат и срабатывание ограничителей | Прогон регресс-набора, правка промптов и ограничителей — 10 часов инженера | 30 000 ₽ |
| Выросла нагрузка | Таймауты поиска, обрезанный контекст, рост доли «не смог ответить» в часы пик | Разбор очереди, кэш, увеличение лимитов — 6 часов инженера | 18 000 ₽ |
Обновление версии модели на стороне провайдера — единственная причина, которая срабатывает мгновенно и не зависит от вас. Ответы становятся длиннее или короче, меняется формат списков, часть ограничителей начинает срабатывать иначе. Ровно для этого нужен регресс-набор контрольных примеров: без него после смены версии вы сравниваете новое поведение с воспоминаниями.
Три отчёта, которые дают диагноз за час
Диагностику не нужно заказывать как отдельный проект. Если журнал пишет вопрос, ответ, найденные фрагменты и их даты, три выгрузки закрывают вопрос «что случилось» примерно за час работы инженера — это 3 000 ₽.
- 1Топ-20 тем с отказами за 30 дней рядом с таким же отчётом за месяц приёмки. Если списки почти совпали, база устарела по старым темам. Если в новом списке половина тем незнакомая — изменился поток вопросов.
- 2Доля обращений, где поиск не вернул ни одного фрагмента, в разбивке по неделям. Плавный рост — вопросы уходят за границы базы. Ступенька в конкретный день — что-то изменилось в системе или у провайдера в этот день.
- 3Распределение ответов по дате документа-источника. Если 41 % ответов опирается на документы старше полугода, дальше можно не искать: ремонт начинается с ревизии базы.
Все три отчёта строятся на тех же полях журнала, которые нужны для выборочного контроля диалогов. Если журнала с найденными фрагментами нет, диагностика превращается в чтение переписки вручную и стоит уже не час, а несколько дней.
Схема-развилка слева направо. Слева блок «Журнал диалогов: вопрос, ответ, найденные фрагменты, даты документов». От него три стрелки к отчётам: «Топ-20 тем с отказами», «Доля пустого поиска по неделям», «Возраст документов в ответах». От отчётов стрелки к пяти прямоугольникам-причинам с ценой ремонта: «Устарела база — 10 800 ₽», «Изменились цены и процессы — 5 400 ₽», «Сменились вопросы — 19 200 ₽», «Обновление модели у провайдера — 30 000 ₽», «Выросла нагрузка — 18 000 ₽». Под схемой подпись «час работы инженера — 3 000 ₽». Чертёжный стиль, подписи по-русски.
Регламент обновления базы знаний: владелец, срок, повод
Три причины из пяти лечатся не кодом, а работой с базой знаний. Поэтому у базы должен быть владелец на стороне заказчика — методист или предметный специалист, а не подрядчик: подрядчик не узнаёт о новом прайсе и о смене условий возврата раньше вас. Правила подготовки и структуры базы мы разбирали в материале про подготовку базы знаний для поиска, здесь — только режим её жизни после запуска.
- 1Плановая ревизия — раз в месяц, 4 часа
Методист проходит топ отказов за месяц, проверяет актуальность документов из верхних 20 ответов и снимает старые редакции. По ставке 900 ₽/час это 3 600 ₽ в месяц — самая дешёвая строка всего контура.
- 2Внеочередное обновление — пять поводов
Изменился прайс или условия доставки; запущен новый продукт или услуга; изменился регламент, который видит клиент (возвраты, гарантия, сроки); вступило в силу новое требование закона; найдена критическая ошибка в ответе. Любой из пяти запускает обновление, не дожидаясь месячной ревизии.
- 3Срок обновления — по цене ошибки
Цены, сроки и условия оплаты — один рабочий день: именно на них система ошибается дороже всего. Всё остальное — пять рабочих дней. Срок пишется в регламент, потому что «когда дойдут руки» на практике означает «никогда».
- 4Подтверждение — три контрольных вопроса
После каждого обновления методист задаёт агенту три вопроса по изменённому фрагменту и проверяет, что в ответе новая редакция и ссылка на неё. Пять минут работы, которые отделяют «документ загрузили» от «система отвечает по нему».
Что записать в договор поддержки
Пункт «подрядчик обеспечивает работоспособность системы» деградацию не покрывает: система работоспособна, она просто отвечает хуже. Нужны четыре формулировки, каждая с числом и сроком. Подробный разбор договорных метрик — в материале про метрики качества ИИ в договоре; для поддержки минимум такой.
- Периодичность замера. Ежемесячный замер на выборке из 200 случайных обращений по согласованной методике, отчёт до 10-го числа следующего месяца.
- Коридор допустимых значений. Доля отказов — 8–13 %, доля критических ошибок — не выше 1 %. Значения фиксируются по итогам третьего месяца эксплуатации, а не назначаются заранее.
- Срок реакции на выход за коридор. Пять рабочих дней на установленную причину с приложением отчётов, пятнадцать — на исправление или на согласованный план работ, если причина требует денег заказчика.
- Обновление модели у провайдера. Подрядчик прогоняет регресс-набор в течение трёх рабочих дней после смены версии и устраняет расхождения за свой счёт, если смену инициировал не заказчик.
Последний пункт обсуждают чаще всего. Аргумент подрядчика: «мы не управляем версиями модели» — верный. Но регресс-набор и его прогон стоят десять часов, а последствия молчания оплачивает заказчик. Разумный компромисс: прогон за счёт подрядчика, а объём переделки сверх 10 часов — по отдельной смете.
Контур наблюдения за те же четыре месяца стоит меньше. Ежемесячный замер на своей выборке — 15 часов и 18 800 ₽, плановая ревизия базы — 4 часа и 3 600 ₽; вместе 22 400 ₽ в месяц, то есть 89 600 ₽ за четыре месяца. Разница в пользу наблюдения — 72 400 ₽, и это без учёта инцидентов: один разобранный случай с придуманной скидкой обходится в 132 000 ₽ и способен перевесить всю экономию на контроле.
Два вертикальных столбца на одной оси в рублях за четыре месяца. Левый, высокий, серый со штриховкой — «Без наблюдения, 162 000 ₽», разбит на три сегмента с подписями «лишние переводы на оператора 117 600 ₽», «аварийная ревизия базы 14 400 ₽», «правка после смены версии модели 30 000 ₽». Правый, ниже, синий — «Контур наблюдения, 89 600 ₽», разбит на два сегмента: «ежемесячный замер 75 200 ₽», «ревизия базы 14 400 ₽». Между столбцами подпись «разница 72 400 ₽». Чертёжный стиль, подписи по-русски.
Когда падение метрики лечить не надо
Не каждое ухудшение цифры — деградация. Четыре случая, когда правильная реакция — ничего не менять и записать объяснение в отчёт.
- Запущен новый продукт или услуга. Первые три-четыре недели доля отказов по новым темам естественно высокая: базы по ним ещё нет. Это не сбой, а очередь на наполнение — важно, чтобы она была видна отдельной строкой и закрывалась.
- Сезонный сдвиг тем. В декабре спрашивают про сроки доставки к празднику, в январе — про возвраты. Коридор считается по году, а не по соседнему месяцу.
- Правила намеренно ужесточили. Если после инцидента вы запретили агенту говорить о скидках и рассрочке, доля отказов вырастет, и это ровно то, за что заплатили. Ухудшением такой рост считать нельзя.
- Поток слишком мал для выводов. На 300 обращениях в месяц разница между 10 % и 14 % — это 12 диалогов, то есть статистический шум. Ниже примерно 1 000 обращений в месяц смотрят не доли, а сами диалоги: сплошной разбор там и дешевле, и честнее.
И отдельный случай: метрика упала после того, как поменяли методику подсчёта. Прежде чем чинить систему, сверьте, что считаете то же самое, что и в прошлом отчёте, — методика замера должна быть зафиксирована письменно и не меняться между периодами. Как её фиксировать, разобрано в статье про замер качества на своих данных.
