Приёмка ИИ-системы отличается от демонстрации тремя вещами: вопросы задаёт заказчик и подрядчик их заранее не видит, прогон идёт на боевом контуре с зафиксированной версией, а результат считается по метрикам, согласованным до начала работ. Если хотя бы одно из трёх условий не выполнено, вы посмотрели презентацию, а не приняли систему.
Разница здесь не бюрократическая. Обычную интеграцию можно принять глазами: выгрузка либо совпала со справочником, либо нет. Результат работы ИИ-системы вероятностный — она отвечает на бесконечное множество формулировок, и на любых десяти вопросах, выбранных исполнителем, она будет выглядеть отлично. Проверяемым результат делает только закрытая выборка с подсчётом.
Общий порядок приёмки этапа — сроки, классы замечаний, мотивированный отказ, гарантийный период — разобран в материале про приёмку работ по автоматизации. Здесь только то, что добавляется, когда результатом работ является вероятностная система. Сквозной пример прежний: клиентская поддержка, около 6 000 обращений в месяц, база знаний из 150 страниц, ставки — инженер 3 000 ₽/час, методист 900 ₽/час, руководитель 2 500 ₽/час.
Почему демонстрация ничего не доказывает
На демонстрации подрядчик показывает систему на вопросах, которые он выбрал. Он делал её несколько недель, знает каждую слабость и обходит их не из злого умысла, а автоматически: показывают то, что работает. Добавьте к этому, что демо часто идёт на отдельном стенде с более свежей базой, чем боевой контур, — и получите картину, не связанную с тем, что увидит клиент в понедельник.
| Признак | Демонстрация | Приёмка |
|---|---|---|
| Кто формирует вопросы | Исполнитель | Заказчик, подрядчик их не видит заранее |
| Сколько вопросов | 8–15, показанных подряд | 250: 200 случайных и 50 провокационных |
| На чём идёт прогон | Демо-стенд, версия не зафиксирована | Боевой контур, версия промпта, базы и модели записана |
| Считается ли результат | Нет, оценивается впечатление | Да, по метрикам из приложения к договору |
| Что происходит с ошибкой | Комментарий «это мы поправим» | Разбор поимённо: причина, чем закрыто, повторный прогон |
| Что подписывается | Ничего | Акт этапа и протокол прогона с числами |
Арифметика тут против зрителя. Система с долей правильных ответов 70 % на случайных двенадцати вопросах ошиблась бы три-четыре раза, и это было бы видно. Но на демонстрации вопросы не случайные: они отобраны из тех, на которых система не ошибается. Вы видите 12 из 12 и делаете вывод про 100 %, хотя наблюдали ровно ту часть выборки, которая была выбрана по результату. Это не жульничество, а свойство любой демонстрации — и ровно поэтому её нельзя класть в основу акта.
Демонстрация при этом не бесполезна — она нужна, чтобы увидеть интерфейс, маршруты эскалации и работу оператора. Просто это другое мероприятие, и оно не заменяет прогон. Хороший признак: подрядчик сам предлагает после демонстрации задать ему вопросы из вашего списка, не глядя в них.
Сравнение в две колонки. Левая «Демонстрация»: строки «Вопросы выбирает исполнитель», «8–15 вопросов подряд», «Демо-стенд, версия не зафиксирована», «Результат не считается», «Ошибка — комментарий «поправим»», «Не подписывается ничего». Правая «Приёмка»: «Выборка заказчика, закрытая», «250 вопросов: 200 случайных и 50 провокационных», «Боевой контур, версия записана», «Подсчёт по метрикам из договора», «Каждая критическая ошибка разбирается поимённо», «Акт и протокол прогона с числами». Чертёжный стиль, подписи по-русски.
Шесть шагов приёмочного прогона
Процедура одинаково устроена и для агента поддержки, и для внутреннего ассистента по регламентам. Меняются только источники выборки и список критических ошибок.
- 11. Закрытая выборка заказчика
200 случайных обращений из реального потока за последний квартал и 50 провокационных вопросов на денежные темы: цена, скидка, рассрочка, срок, гарантия, возврат. Выборку собирает предметный специалист заказчика, подрядчик её не видит до момента прогона. Как формировать выборку и писать к ней ожидания — подробно в материале про замер качества на своих данных.
- 22. Прогон при заказчике на боевом контуре
Не «мы прогоним у себя и пришлём отчёт». Прогон идёт при представителе заказчика, на том контуре, который пойдёт в работу, с записью версии промпта, индекса базы и модели в протокол. Версия важна: без неё через месяц невозможно доказать, что принимали не то, что работает сейчас.
- 33. Подсчёт по согласованным метрикам
Метрики и правила зачёта утверждены приложением к договору до начала работ. Считается не одна цифра, а четыре доли: правильные ответы, честные отказы, ошибки без последствий и критические ошибки. Спор о том, что считать ошибкой, после прогона всегда выигрывает тот, кто его затеял.
- 44. Разбор всех критических ошибок поимённо
Критические ошибки не усредняются. По каждой пишется, что произошло, почему поиск или ограничитель не сработал и чем сценарий закрыт. Если критических нашлось три, в протоколе три разбора, а не строка «2 % критических ошибок, в пределах допустимого».
- 55. Проверка контуров защиты руками
Отдельно от прогона проверяется, что защита реально включена: у фактических ответов есть ссылка на источник, ограничители живут в коде и не обходятся переформулировкой, журнал пишет найденные фрагменты. Что именно щупать — в разборе трёх контуров защиты ИИ-агента.
- 66. Доступ к журналу и передача артефактов
Заказчик получает выгрузку журнала за весь период пилота и комплект артефактов из семи позиций. Акт подписывается после того, как комплект принят, а не «в течение недели после подписания».
Горизонтальная лента из шести этапов. Подписи этапов и результатов под ними: «Закрытая выборка — конверт на 250 вопросов», «Прогон при заказчике — протокол с версией промпта, базы и модели», «Подсчёт — четыре доли: правильные, отказы, ошибки без последствий, критические», «Разбор критических — по одному разбору на каждую», «Проверка контуров — отметка по трём контурам защиты», «Артефакты и журнал — комплект из семи позиций». В конце ленты штемпель «акт этапа». Чертёжный стиль, подписи по-русски.
Порог приёмки и три ступени при недоборе
Порог согласуется до начала работ и записывается приложением к договору. Значения ниже — рабочий ориентир для агента поддержки на первом месяце: система в этот момент ещё не вышла на устоявшийся режим, и требовать от неё показателей третьего месяца некорректно.
| Показатель | Порог на приёмке | Как считается | Тип |
|---|---|---|---|
| Доля правильных ответов | не ниже 70 % | 250 примеров закрытой выборки | Основной |
| Критические ошибки | не выше 1 % — 2 случая из 250 | Список утверждён до прогона | Блокирующий |
| Доля честных отказов | 15–22 % | Те же 250 примеров | Основной |
| Фактические ответы без ссылки на источник | 0 | Автоматическая проверка по журналу | Блокирующий |
| Провокационные вопросы, закрытые ограничителем | 50 из 50 | Отдельный прогон корзины | Блокирующий |
| Обязательство по коридору | 8–13 % отказов к третьему месяцу | Ежемесячный замер по той же методике | Отложенный |
Обратите внимание на разрыв между первой и второй строками: доля правильных ответов всего 70 %, а критических ошибок допускается почти ноль. Противоречия здесь нет. Общая доля определяется качеством базы знаний и характером вопросов и на первом месяце объективно невысока. Критические ошибки закрываются не качеством модели, а ограничителями в коде — списком запретных тем, лимитами на суммы и сроки, шаблонами юридически значимых фраз. Поэтому жёсткий порог по ним достижим сразу, а мягкий по общей доле — честен.
Отдельно стоит объяснить строку про отказы. Низкая доля отказов на приёмке выглядит хорошо и почти всегда означает обратное: правила ослаблены, и система отвечает там, где данных нет. Поэтому в пороге стоит коридор, а не минимум: ниже 15 % на первом месяце — такой же повод для разбора, как и выше 22 %. Почему отказ является целевым поведением, разобрано в отдельном материале про ответ «не знаю».
Резонное возражение: как согласовать порог до начала работ, если никто ещё не видел ни базы знаний, ни характера вопросов. Порядок такой. В договоре на старте фиксируется вилка и способ её сужения: доля правильных ответов не ниже 65–75 %, точное значение внутри вилки определяется по результатам второго этапа — прототипа на 20 сценариях с прогоном на 60 примерах. Блокирующие показатели вилки не имеют: ноль фактических ответов без ссылки на источник и 50 закрытых провокаций из 50 — это требования к устройству системы, а не к её обученности, и они известны заранее.
- 1Недобор меньше 10 процентных пунктов по основной метрике — доработка за счёт подрядчика в течение 15 рабочих дней и повторный прогон на новой выборке заказчика. Прогонять повторно на той же выборке нельзя: подрядчик уже видел вопросы.
- 2Недобор больше 10 пунктов или превышение по блокирующим показателям — платёж последнего этапа удерживается до успешной повторной приёмки. Именно поэтому этап должен быть последним и весомым: удерживать нечего, если всё оплачено авансом.
- 3Два неуспешных прогона подряд — расторжение с передачей всех артефактов и оплатой фактически принятых этапов. Этот пункт в договоре нужен не для того, чтобы им пользоваться, а чтобы обе стороны понимали границу.
Семь артефактов, без которых акт не подписывается
Артефакты — это то, что остаётся у вас, когда подрядчик уходит. Их отсутствие не мешает системе работать сегодня и делает невозможным её сопровождение завтра: следующий исполнитель начнёт с восстановления того, что уже было сделано и оплачено.
- Системные промпты с историей версий. Не финальный текст в переписке, а файл в системе версий с датами и авторами правок. Без истории невозможен разбор «когда это сломалось».
- База знаний в исходном виде плюс правила нарезки и индексации. Выгрузка «в нашем внутреннем формате» не считается: проверяйте, что файлы открываются без инструментов подрядчика.
- Регресс-набор и эталонные ожидания. Список контрольных примеров и результат последнего прогона — как он устроен, разобрано в материале про тестовый набор и регресс.
- Разметка и эталоны замера — те 250 примеров с ожидаемыми ответами, по которым считалось качество. Они же становятся основой ежемесячного замера.
- Код ограничителей и схема интеграций. Список запретных тем, лимиты, белый список действий — в репозитории заказчика, вместе с описанием, какая система с какой обменивается и чем.
- Инструкции операторов и регламент эскалации. Что делает человек, когда система передала ему диалог, и по каким признакам он обязан перепроверить ответ.
- Доступы, оформленные на юрлицо заказчика, и выгрузка журнала за весь период пилота. Аккаунт у провайдера модели, оформленный на подрядчика, — это скрытая привязка, которая всплывает при первом же расставании.
Комплектность проверяется одним вопросом: сможет ли другая команда завтра продолжить работу, не обращаясь к прежнему подрядчику. Практическая проверка занимает полдня: возьмите переданные файлы, разверните систему на отдельном контуре силами своего ИТ-специалиста и задайте ей десять вопросов. Если поднялась и отвечает — комплект полный. Если для запуска потребовался звонок подрядчику, значит, часть результата работ осталась у него, и акт подписывать рано.
Системная инструкция агента — это описание вашего процесса словами: как отвечать вашим клиентам, что говорить про ваши цены и когда звать вашего оператора. Ноу-хау подрядчика — методика, шаблоны и инструменты, а не текст, написанный про ваш бизнес и оплаченный вами. Конфиденциальность закрывается соглашением о неразглашении, а не удержанием результата работ.
Сколько приёмка стоит заказчику
Приёмка — это работа вашей команды, и её честно посчитать заранее, иначе она превращается в подписание акта «чтобы не задерживать». Расчёт ниже — на том же модельном агенте поддержки.
Цифра выглядит большой, и это главная причина, по которой приёмку пропускают. Смягчает её то, что 37 часов и 33 300 ₽ из этой суммы тратятся один раз и работают дальше: выборка и эталонные ответы становятся ядром регресс-набора и первой точкой ежемесячного замера, который потом стоит 15 часов и 18 800 ₽ в месяц. Сокращать выборку ниже 200 случайных примеров не стоит: на 30 примерах погрешность достигает ±11 п.п., и разница между 70 % и 80 % на них просто не видна.
Горизонтальная столбчатая диаграмма из шести полос с подписями сумм: «Разбор ошибок и проверка контуров — 30 000 ₽», «Проверка артефактов и доступов — 24 000 ₽», «Эталонные ответы к 250 примерам — 22 500 ₽», «Прогон и протокол — 12 000 ₽», «Формирование выборки — 10 800 ₽», «Решение и оформление — 7 500 ₽». Полосы отсортированы по убыванию. Две полосы, относящиеся к выборке и эталонам, помечены штриховкой и общей подписью «33 300 ₽ переиспользуются в регресс-наборе и ежемесячном замере». Справа итог «62 часа, 106 800 ₽». Чертёжный стиль, подписи по-русски.
Шесть попыток упростить приёмку и ответы на них
Ни одна из этих реплик не означает, что перед вами недобросовестный подрядчик. Чаще это экономия времени или неуверенность в результате. Но соглашаться нельзя ни на одну, и ответы лучше знать заранее.
| Что говорят | Что это означает на практике | Что отвечать |
|---|---|---|
| «Примем по демонстрации, выборка — это долго» | Нет уверенности в поведении на незнакомых вопросах | Демонстрация отдельно, акт — по прогону на нашей выборке |
| «Мы прогоним у себя и пришлём отчёт» | Прогон без свидетеля, версия и условия неизвестны | Прогон при нас, на боевом контуре, версия записывается в протокол |
| «Метрики согласуем по итогам прогона» | Порог будет подогнан под полученный результат | Метрики и правила зачёта — приложение к договору до старта работ |
| «Промпты — наше ноу-хау, передать не можем» | Привязка к подрядчику после окончания проекта | Промпты и база — часть результата работ, конфиденциальность закрывает NDA |
| «Журнал отдадим после окончательной оплаты» | Проверять качество нечем именно тогда, когда это нужно | Доступ к журналу с первого дня пилота, выгрузка — до подписания акта |
| «Ошибки поправим в гарантийный период» | Критические сценарии уйдут в бой непроверенными | Блокирующие показатели закрываются до акта, остальное — в гарантию |
Обратный признак тоже полезен. Подрядчик, который сам просит собрать закрытую выборку пораньше, предлагает записать версию промпта в протокол и приносит на приёмку список собственных найденных дефектов, экономит вам половину этой работы. Он не добрее остальных — он просто уже проходил спор о качестве после подписания акта и знает, что дороже обходится ему.
Как связать приёмку с оплатой
Смысл разбиения на этапы простой: в любой момент проекта ваш риск равен стоимости одного неоплаченного результата, а не всего бюджета. Для проекта уровня заказного агента — это разница между потерей 100 000 ₽ и потерей 400 000 ₽.
| Этап | Доля оплаты | Что принимается |
|---|---|---|
| 1. Обследование и база знаний | 20 % | Карта тем, база знаний в исходном виде, список критических ошибок |
| 2. Прототип на 20 сценариях | 25 % | Сокращённый прогон на 60 примерах выборки заказчика |
| 3. Боевой контур: ограничители, журнал, эскалация | 30 % | Проверка трёх контуров руками, обход правил не воспроизводится |
| 4. Приёмочный прогон и первый месяц эксплуатации | 25 % | Прогон на 250 примерах, комплект артефактов, выгрузка журнала |
Первый этап намеренно небольшой и при этом полностью самодостаточный: обследование и собранная база знаний остаются полезными, даже если проект дальше не пойдёт. Это единственная часть работ, которая не пропадает при расставании с подрядчиком, поэтому платить за неё авансом не жалко. Второй и третий этапы закрываются проверками попроще: на прототипе прогоняются 60 примеров вместо 250, на боевом контуре проверяются контуры защиты и воспроизводимость обхода правил. Полный прогон делается один раз — на четвёртом.
Четвёртый этап намеренно последний и весомый: именно он даёт предмет для удержания, если пороги не взяты. Дальше метрики должны жить в договоре на поддержку — иначе всё, что вы проверили на приёмке, начнёт медленно расходиться с реальностью уже через несколько месяцев. Формулировки, которые связывают приёмку и поддержку, собраны в материале про метрики качества ИИ в договоре.
Лестница из четырёх ступеней слева направо. Ступени подписаны: «Обследование и база знаний — 20 %», «Прототип на 20 сценариях — 25 %», «Боевой контур с ограничителями — 30 %», «Приёмочный прогон и первый месяц — 25 %». Под каждой ступенью подпись, чем она закрывается: «карта тем и база», «прогон на 60 примерах», «проверка трёх контуров», «прогон на 250 примерах и артефакты». Справа от последней ступени вертикальная скобка с подписью «предмет удержания при недоборе». Чертёжный стиль, подписи по-русски.
Когда такая приёмка избыточна
Полная процедура на 62 часа оправдана не всегда. Есть три случая, где она съест больше, чем защитит.
- Пилот на две-три недели с бюджетом до 150 000 ₽. Здесь достаточно сокращённого прогона на 60 примерах и проверки, что ответы приходят со ссылкой на источник. Полная приёмка стоила бы дороже самого пилота — но выборку и эталоны всё равно начинайте копить с первого дня, они пригодятся при выходе в эксплуатацию.
- Система не общается с клиентом и не называет чисел. Внутренний поиск по документам, который показывает сотруднику найденные фрагменты, принимается проще: человек видит источник и оценивает результат сам. Достаточно проверки полноты базы и журнала.
- Готовый сервис по подписке без настройки под вас. Принимать нечего — там нет ни промптов, ни базы знаний, ни артефактов. Вместо приёмки работает тестовый период: те же 250 вопросов задаются до оплаты годовой подписки, а не после.
И одно исключение в обратную сторону. Если агент получил право что-то делать, а не только отвечать — менять заказ, оформлять возврат, списывать бонусы, — приёмка усложняется, а не упрощается: к прогону добавляется проверка необратимых действий и подтверждений. Это отдельная тема, и экономить на ней нельзя ни при каком бюджете.
