Обязательство по качеству ИИ-системы становится проверяемым, когда в договоре есть четыре вещи: число, методика подсчёта этого числа, тот, кто предоставляет данные для подсчёта, и последствие при недоборе. Уберите любую из четырёх — и пункт превращается в декларацию, на которую нельзя сослаться ни в переписке, ни в суде.
Проблема не в недобросовестности подрядчиков. Формулировка «исполнитель обеспечивает точность работы системы не менее 95 %» кочует из договора в договор потому, что она всех устраивает: заказчику кажется, что он защищён, исполнителю — что он ничего конкретного не пообещал. Разногласие обнаруживается на третьем месяце, когда выясняется, что стороны считали разное.
Ниже — четыре формулировки в том виде, в котором их можно перенести в договор, перечень критических ошибок, порядок разрешения разногласий и ступени последствий. Числа — для модельного агента поддержки: около 6 000 обращений в месяц, база знаний из 150 страниц. Ставки в расчётах: инженер 3 000 ₽/час, методист 900 ₽/час, руководитель 2 500 ₽/час.
Почему «точность не менее 95 %» не значит ничего
Разберём формулировку по частям — в ней четыре дыры, и каждая закрывается одним предложением. Что считается правильным ответом: совпадение с эталоном по сути, наличие ссылки на источник, отсутствие лишних утверждений — или всё сразу. На каких данных считают: на потоке за месяц, на выборке подрядчика или на выборке заказчика. Кто считает и по какой процедуре. И что происходит при недоборе — доработка, удержание, расторжение или ничего.
Есть и пятая, менее очевидная дыра: слово «точность» — это конкретная метрика, а не синоним качества, и её можно поднять почти до ста процентов, обвалив полноту. Разница разобрана в отдельном материале про точность и полноту. Практический вывод для договора: писать не «точность», а прямым текстом — «доля ответов, признанных правильными по методике из Приложения №...».
Отдельно стоит развести два разных обязательства, которые в договорах регулярно склеивают. SLA отвечает за доступность и скорость: система работает столько-то процентов времени, отвечает не дольше стольких-то секунд, инцидент берётся в работу за такой-то срок. Метрики качества отвечают за содержание ответа. Агент может укладываться в SLA идеально — быть доступным 99,9 % времени и отвечать за две секунды — и при этом сообщать клиентам несуществующую цену. Что входит в SLA и как его читать, разобрано в материале про SLA простыми словами; дальше речь только про качество.
Сравнение в две колонки. Левая «Точность не менее 95 %»: строки «Что считается правильным — не сказано», «На каких данных — не сказано», «Кто считает — не сказано», «Что при недоборе — не сказано», «Проверяемость — нет». Правая «Доля правильных ответов не ниже 70 %»: строки «Правильный ответ — соответствие действующей редакции документа и ссылка на источник», «Данные — закрытая выборка заказчика на 250 примеров», «Считает заказчик, протокол подписывают обе стороны», «При недоборе — доработка, удержание, расторжение», «Проверяемость — да». Чертёжный стиль, подписи по-русски.
Четыре формулировки, которые работают
Формулировки ниже написаны так, чтобы их можно было вставить в договор с минимальной правкой. Числа в них — рабочий ориентир для агента поддержки на первом месяце эксплуатации; свои значения подставляйте по итогам этапа прототипа, а не берите из статьи.
- 11. Доля правильных ответов
«Исполнитель обеспечивает долю правильных ответов не ниже 70 % на контрольной выборке из 250 обращений, сформированной Заказчиком и не передаваемой Исполнителю до момента прогона. Правильным считается ответ, соответствующий действующей редакции документа-источника и содержащий ссылку на него. Методика подсчёта — Приложение № 4». Как формировать выборку и писать к ней эталоны, разобрано в материале про замер качества на своих данных.
- 22. Предельная доля критических ошибок
«Число критических ошибок на контрольной выборке — не более 2 из 250. Перечень критических ошибок — Приложение № 5. Наличие неустранённой критической ошибки на момент приёмки является основанием для отказа от подписания акта независимо от значений остальных показателей». Этот пункт блокирующий: его нельзя компенсировать хорошей общей долей.
- 33. Коридор допустимых отказов
«Доля ответов с отказом и переводом на оператора составляет 15–22 % на контрольной выборке и 8–13 % начиная с третьего месяца эксплуатации. Выход за нижнюю границу коридора рассматривается наравне с выходом за верхнюю». Нижняя граница нужна потому, что низкая доля отказов почти всегда означает ослабленные правила, а не поумневшую систему — механика разобрана в материале про отказ как целевое поведение.
- 44. Срок исправления найденной ошибки
«Критическая ошибка устраняется в течение 3 рабочих дней с момента регистрации в журнале обращений; ошибка без последствий — 10 рабочих дней; расхождение, требующее изменения базы знаний Заказчика, — по плану, согласованному в течение 5 рабочих дней». Отсчёт идёт от регистрации, а не от подтверждения Исполнителем: иначе срок начинается тогда, когда исполнитель согласится, что ошибка есть.
Показатель, недостижение которого само по себе останавливает приёмку, независимо от остальных цифр. Из четырёх пунктов блокирующий один — критические ошибки; к нему на приёмке добавляются два требования к устройству системы: ноль фактических ответов без ссылки на источник и все провокационные вопросы, закрытые ограничителем. Остальные показатели компенсируемые: недобор по ним запускает доработку, а не отказ от акта.
Сами формулировки занимают полстраницы, работоспособными их делают приложения: методика подсчёта, перечень критических ошибок и порядок разрешения разногласий. Договор без этих приложений выглядит строгим, но в споре разваливается на первом же вопросе «а как вы это считали».
Схема из трёх ярусов. Верхний ярус — четыре блока-пункта: «Доля правильных ответов — 70 %», «Критические ошибки — не более 2 из 250», «Коридор отказов — 15–22 % и 8–13 %», «Сроки исправления — 3 / 10 / 5 дней». Средний ярус — три блока-приложения со стрелками ко всем четырём пунктам: «Методика подсчёта», «Перечень критических ошибок», «Порядок разрешения разногласий». Нижний ярус — два блока, к которым идут стрелки: «Приёмка: прогон на 250 примерах» и «Поддержка: ежемесячный замер и коридор». Чертёжный стиль, подписи по-русски.
Критическая ошибка — это список, а не определение
Попытка описать критическую ошибку одной фразой («ошибка, повлёкшая существенные последствия») гарантирует спор: существенность каждая сторона оценит по-своему. Работает только закрытый перечень, утверждённый до начала работ. Для клиентской поддержки он выглядит так.
- Названа цена, скидка, рассрочка или условие оплаты, которых нет в действующем прайсе.
- Назван срок поставки, изготовления или ремонта, не подтверждённый системой учёта.
- Подтверждено обязательство компании: гарантия, возврат, компенсация, бронирование.
- Сообщён факт, отсутствующий в базе знаний, — включая ссылку на несуществующий документ или пункт регламента.
- Раскрыты данные другого клиента или служебная информация компании.
- Дан содержательный ответ на стоп-тему из утверждённого списка — медицинскую, юридическую, налоговую.
- Не выполнена обязательная эскалация при явном признаке: претензия, угроза, упоминание надзорного органа.
Перечень пересматривается один раз — по итогам первого месяца эксплуатации, когда становится видно, какие сценарии в реальности опасны. Дальше он фиксируется: перечень, который правят по ходу спора, теряет смысл. Для внутреннего ассистента список будет другим — там на первое место выходят разглашение служебных данных и неверная трактовка регламента.
Кто даёт выборку, кто считает и что при расхождении
Распределение ролей — половина работоспособности пункта. Выборку формирует заказчик и не показывает её исполнителю до прогона. Эталонные ожидания пишет предметный специалист заказчика — тот, кто знает, какой ответ правильный, а не тот, кто настраивал систему. Считает заказчик, протокол подписывают обе стороны, прогон идёт при представителе исполнителя, чтобы не спорить потом об условиях.
Расхождения в оценках неизбежны на смысловых вопросах, и порядок их разрешения пишется заранее. Спорные примеры выносятся отдельным списком; стороны пересматривают их вместе; при сохранении разногласия решение принимает предметный специалист заказчика, а доля спорных примеров фиксируется в протоколе. Если она выше 10 % выборки, пересматривать надо не систему, а формулировки критериев: значит, «правильный ответ» описан неоднозначно.
Отдельно фиксируется, кто платит за замер в эксплуатации. Разумное распределение: подготовку выборки и эталонов оплачивает заказчик один раз (это его актив — он остаётся при смене подрядчика), а ежемесячный повторный замер входит в договор на поддержку и стоит по модельному расчёту 15 часов и 18 800 ₽ в месяц. Если замер не оплачен ни одной стороной, он не делается: через полгода это выясняется вместе с тем, что метрики из договора никто не считал ни разу.
Независимая третья сторона в этой схеме почти никогда не оправдана. Внешний эксперт стоит 30 000–60 000 ₽ и всё равно опирается на ваши эталоны — то есть добавляет расходы, но не добавляет объективности. Единственный случай, когда он полезен, — сумма спора существенно выше стоимости экспертизы и дело идёт в суд.
Ступени последствий и цена их отсутствия
Последствие должно быть соразмерным, иначе им не пользуются: расторжение за недобор в три процентных пункта никто применять не станет, и пункт останется на бумаге. Рабочая схема — четыре ступени.
| Ситуация | Последствие | Ограничение |
|---|---|---|
| Недобор до 10 процентных пунктов по основной метрике | Доработка за счёт исполнителя, 15 рабочих дней, повторный прогон на новой выборке | Не более двух повторных прогонов |
| Недобор больше 10 пунктов или нарушение блокирующего показателя | Удержание платежа последнего этапа до успешной повторной приёмки | Последний этап — 25 % бюджета проекта |
| Два неуспешных прогона подряд | Расторжение с оплатой фактически принятых этапов | Передача всех артефактов в 5 рабочих дней |
| Нарушение срока исправления в эксплуатации | Уменьшение платы за месяц поддержки пропорционально дням просрочки | Потолок — стоимость одного месяца поддержки |
Вторая строка — единственная, которая реально работает, и работает она только при разбитой на этапы оплате. Если проект оплачен авансом целиком, все четыре формулировки превращаются в вежливую переписку. Как связать точки приёмки с точками оплаты, разобрано в материале про приёмку ИИ-системы у подрядчика.
Десять тысяч — это примерно 4 часа руководителя на согласование формулировок и приложений по ставке 2 500 ₽/час. Соотношение здесь двенадцатикратное, и это ещё оптимистичный сценарий: он не учитывает ни ущерб от самих ошибок, ни время, потерянное на спор. Общий чек-лист договора на разработку, куда эти пункты встраиваются, собран в материале про то, что должно быть в договоре.
Два вертикальных столбца на одной оси в рублях. Левый, низкий, синий — «Согласовать четыре пункта заранее, 10 000 ₽», подпись «4 часа руководителя». Правый, высокий, серый со штриховкой — «Спор без методики, 120 500 ₽», разбитый на четыре сегмента с подписями «выборка задним числом 22 500 ₽», «прогон и протокол 18 000 ₽», «переписка и встречи 20 000 ₽», «доработка другим исполнителем 60 000 ₽». Под правым столбцом пометка «рычаг удержания утрачен». Чертёжный стиль, подписи по-русски.
Когда эти пункты избыточны
Четыре формулировки и три приложения оправданы не в каждом проекте. Три случая, где они добавят бумаги больше, чем защиты.
- Готовый сервис по подписке без настройки под вас. Договора на разработку там нет, обязательства описаны офертой, и менять её под вас никто не будет. Защита здесь другая — тестовый период и помесячная оплата вместо годовой.
- Пилот на две-три недели с бюджетом до 150 000 ₽. Достаточно одного пункта: результат пилота считается достигнутым при доле правильных ответов не ниже согласованного значения на выборке заказчика из 60 примеров. Остальное дописывается перед выходом в эксплуатацию.
- Система не общается с клиентом и не называет чисел. Внутренний поиск по документам, который показывает сотруднику найденные фрагменты, не создаёт обязательств компании: человек видит источник и решает сам. Критические ошибки там сводятся к разглашению служебных данных.
И главное ограничение, о котором честно предупредить. Метрики в договоре не делают систему лучше — они делают проверяемым спор о её качестве и дают рычаг на время проекта. Дальше работает не договор, а регулярный замер и разбор диалогов: без них показатели, взятые на приёмке, расходятся с реальностью за несколько месяцев, и никакая формулировка этого не остановит.
