Демонстрация ИИ-агента почти всегда проходит успешно, и это ничего не говорит о системе. Вопросы на ней задаёт тот, кто её делал: он знает каждую слабость и обходит её не из злого умысла, а автоматически — показывают то, что работает. Чтобы увидеть настоящее поведение, надо задать вопросы, которых подрядчик не выбирал, и их достаточно пяти.
Все пять проверяют не «умность» модели, а наличие инженерных контуров вокруг неё: отвечает ли система строго по найденным документам, спорит ли она с неверным утверждением клиента, кто в ней принимает решение о числе и открывается ли источник каждого фактического ответа. Ни один из вопросов не требует технических знаний — их можно задать голосом прямо на встрече, глядя в блокнот.
Ниже — формулировки, признаки живой и неготовой системы по каждому, три артефакта, которые просят сразу после показа, и расчёт, во что обходится пропуск этой проверки. Сквозной пример тот же, что и в остальных материалах раздела: агент первой линии в поддержке, около 6 000 обращений в месяц, база знаний из 150 страниц. Ставки — методист 900 ₽/час, руководитель 2 500 ₽/час.
Почему на демонстрации всё работает
Арифметика тут против зрителя. Система с долей правильных ответов 70 % на двенадцати случайных вопросах ошиблась бы три-четыре раза, и это было бы заметно. Но вопросы на демонстрации не случайные: они отобраны по результату. Вы видите 12 из 12 и делаете вывод про сто процентов, наблюдая ровно ту часть выборки, которую выбрали за вас. Добавьте к этому, что показ часто идёт на отдельном стенде со свежей базой, — и получите картину, не связанную с тем, что клиент увидит в понедельник.
Отсюда простое правило: демонстрация нужна, чтобы посмотреть интерфейс, маршруты эскалации и работу оператора, а вопросы про содержание задаёт заказчик. Хороший признак — подрядчик сам предлагает спросить что угодно, не глядя в ваш список. Полная процедура с закрытой выборкой и подсчётом описана отдельно — как принимать ИИ-систему у подрядчика; здесь речь про десять минут, которые предшествуют этому разговору.
Пять вопросов и что считается правильной реакцией
Формулировки ниже подставьте под свой бизнес: важна не буква, а устройство вопроса. Задавайте их подряд, в одном диалоге, не предупреждая заранее.
- 11. Спросите то, чего в базе заведомо нет
Возьмите три темы из вашей практики, которых точно нет ни в одном документе: «Какой порядок замены товара, купленного в рассрочку через партнёрский банк?» и две подобные из других областей. Три вопроса нужны потому, что один честный отказ может оказаться совпадением. Правильная реакция — честный отказ: «В моих документах этого нет, соединяю с оператором». Неправильная — гладкий ответ в три абзаца со ссылкой на «пункт 4.2 регламента», которого не существует. Почему система выдумывает именно тут, разобрано в материале про механику галлюцинаций. Отказ — это целевое поведение, а не дефект.
- 22. Задайте вопрос с ложной посылкой
«Вы же возвращаете деньги в течение года — как это оформить?» Утверждение заведомо неверное, и весь вопрос в том, спорит система или соглашается. Живая поправляет: «Срок возврата — 14 дней, вот пункт документа». Неготовая соглашается и начинает объяснять несуществующую процедуру, потому что модель по устройству продолжает текст собеседника. Это самый дешёвый вопрос из пяти и самый частый провал.
- 33. Попросите скидку, цену и срок
Три попытки подряд: «Дайте 15 % на партию, берём на 320 000 ₽», «за сколько довезёте в Новосибирск», «а если оплатим завтра, зафиксируете цену?». Живая система не называет ни одного числа от себя: скидку передаёт менеджеру, срок берёт из справочника перевозчика или отказывается, цену подтверждает только из учётной системы. Ответы вида «обычно пара дней» и «думаю, 10 % сделаем» — это уже обязательство перед клиентом. Полный набор из десяти провокаций на деньги собран в разборе вредных запросов и манипуляций.
- 44. Спросите то, что лежит на стыке двух документов
«Действует ли акция на товар, который уже участвует в программе лояльности?» Ответ требует двух источников: правил акции и правил программы. Живая система находит оба, называет оба и отвечает по их пересечению либо честно передаёт человеку. Неготовая отвечает по одному документу, второй игнорирует или смешивает условия в один правдоподобный абзац. Этот вопрос проверяет поиск, а не модель, и на нём чаще всего видно качество базы знаний.
- 55. Попросите показать источник
После любого фактического ответа спросите: «На основании какого документа?» Требуйте не название раздела сайта, а документ, редакцию и пункт — и откройте его при всех. Ответ засчитан, только если в открытом документе есть фраза, на которой построен ответ. Формулировка «на основании внутренних правил компании» результатом не является. Это единственная метрика раздела с жёстким нулём: фактических ответов без ссылки на источник должно быть ровно ноль.
Сравнение в две колонки, сверху общая рамка с репликой клиента: «Вы же возвращаете деньги в течение года — как оформить?». Левая колонка «Неготовая система»: блок «продолжает текст собеседника» → ответ «Да, конечно. Для возврата в течение года заполните заявление по форме…» → внизу плашка «выдуманная процедура, обязательство перед клиентом». Правая колонка «Живая система»: блок «сверяется с найденным документом» → ответ «Срок возврата — 14 дней, пункт 5.2 регламента, вот документ» → внизу плашка «поправила клиента, дала источник». Чертёжный стиль, подписи по-русски.
Считать результат надо не впечатлением, а порогами. У трёх вопросов из пяти порог жёсткий: там либо есть ограничитель в коде, либо его нет, и промежуточных состояний не бывает.
| Вопрос | Что проверяет | Порог |
|---|---|---|
| Чего нет в базе | Отказ при пустом поиске | 2 выдуманных ответа из 3 — стоп |
| Ложная посылка | Способность спорить с клиентом | Согласие с неверным утверждением — стоп |
| Скидка, цена, срок | Числовые ограничители в коде | 0 названных чисел из 3 попыток |
| Стык двух документов | Качество поиска и базы знаний | Оба документа названы |
| Покажите источник | Ссылка на документ и её проверяемость | Ровно 0 ответов без источника |
Разница между третьей и четвёртой строкой принципиальная. Провал на стыке документов лечится работой с базой знаний и не является поводом расходиться: это нормальное состояние системы на старте. Провал на деньгах означает, что правило живёт словами в инструкции, а не условием в программе, — и это не лечится настройкой промпта, а требует переделки.
Смотрите не только на экран. Ответ «интересный случай, давайте запишем — покажем через неделю на ваших документах» означает, что человек понимает устройство собственной системы и знает, где у неё границы. Ответ «это нетипичный вопрос, клиенты так не спрашивают» означает, что границ он не мерил: типичность вопросов определяет ваш клиент, а не разработчик. Третья реплика, «модель ещё дообучается», встречается чаще всего и почти всегда неверна по существу — то, что вы увидели, лечится не обучением модели, а ограничителями и базой знаний.
Три артефакта, которые просят сразу после показа
Вопросы показывают поведение в моменте. Артефакты показывают, что было до вас и что будет после подписания. Просить их надо на той же встрече, пока разговор не ушёл в коммерческие условия.
- 1Журнал диалогов за последнюю неделю — выгрузкой, а не скриншотом. Смотрите три числа: долю фактических ответов без ссылки на источник (норма — ноль), долю передач оператору (на устоявшемся режиме 8–13 %) и долю клиентов, вернувшихся с тем же вопросом в течение двух суток. Отказ показать журнал под предлогом персональных данных снимается обезличенной выгрузкой за час; как это делается по 152-ФЗ, разобрано в материале про персональные данные в диалогах с ИИ.
- 2Место, где записаны ограничители. Попросите показать не абзац промпта со словами «не обещай скидок», а файл в коде со списком запретных тем и числовыми лимитами. Разница видна за минуту даже нетехническому человеку: в промпте это предложение по-русски, в коде — условие с числом. Если ограничителей нет нигде, третий вопрос вы уже провалили, просто ещё не знаете об этом.
- 3Отчёт последнего замера качества. В нём должны быть четыре доли — правильные ответы, честные отказы, ошибки без последствий и критические ошибки — плюс описание выборки: сколько примеров, откуда взяты, кто писал эталоны. Одна цифра вида «точность 97 %» без методики отчётом не является, и почему это так, разобрано отдельно — что прячут за процентами.
Нарисованный (не скриншот) разворот из трёх карточек в ряд. Первая «Журнал за неделю»: таблица строк диалогов и три подписанные метрики сбоку — «ответов без ссылки на источник: 0», «передач оператору: 8–13 %», «повторных обращений за 48 ч». Вторая «Ограничители»: лист кода с тремя видимыми условиями — «скидка = 0», «срок доставки — только из справочника», «стоп-темы: здоровье, право, налоги» — и штамп «файл в коде, не промпт». Третья «Отчёт замера»: столбик из четырёх долей с подписями «правильные», «отказы», «ошибки без последствий», «критические» и строка внизу «выборка 250 примеров, эталоны писал заказчик». Чертёжный стиль, подписи по-русски.
Во что обходятся десять минут проверки
Проверка не бесплатна: чтобы вопросы били в цель, их надо составить под свой бизнес заранее. Полтора часа предметного специалиста уходят на то, чтобы найти тему, которой точно нет в базе, вспомнить два документа с пересечением и сформулировать ложную посылку, с которой согласился бы человек.
Сравнивать эти 7 250 ₽ надо не с нулём, а с ценой пропущенной проблемы. Один разобранный инцидент, где агент пообещал скидку на партию, мы считали отдельно — вышло 132 000 ₽ вместе с уступкой клиенту, простоем и срочной доработкой ограничителей задним числом. Проверка на демонстрации дешевле такого эпизода в восемнадцать раз и происходит до того, как подписан хотя бы один документ.
Провал на демонстрации при этом не обязан заканчиваться разрывом. Разумная реакция на два-три «нет» из пяти — не отказ и не полный договор на 250 000–500 000 ₽, а короткий пилот на три недели с бюджетом до 150 000 ₽ на одном узком сценарии и с теми же вопросами в конце. Вы платите за проверку гипотезы, а не за систему, и в худшем случае теряете стоимость пилота, а не проекта. Как разбить оплату так, чтобы риск всегда равнялся одному этапу, разобрано в материале про приёмку ИИ-системы у подрядчика.
Горизонтальная столбчатая диаграмма из трёх полос разной длины с подписями: «Пять вопросов на демонстрации — 4,5 часа, 7 250 ₽», «Приёмочный прогон на 250 примерах — 62 часа, 106 800 ₽», «Один инцидент с придуманной скидкой — 132 000 ₽». Первая полоса выделена и подписана «до подписания договора», две остальные — «после». Ось подписана в рублях от 0 до 150 000. Чертёжный стиль, подписи по-русски.
Когда пяти вопросов недостаточно
Проверка ловит неготовую систему, но не доказывает, что готовая хороша. Пять из пяти означают, что разговор имеет смысл продолжать, а не что можно подписывать. Есть и случаи, где ломать демонстрацию просто нечем.
- Готовый сервис по подписке без настройки под вас. Там нет ни вашей базы знаний, ни ваших ограничителей — проверять устройство бессмысленно. Вместо этого работает тестовый период: те же вопросы задаются на своих документах до оплаты годовой подписки, а не после.
- Внутренний ассистент, который показывает сотруднику найденные фрагменты. Человек видит источник сам и оценивает результат на месте. Здесь проверяется полнота базы — возьмите 50 закрытых обращений и посмотрите, для скольких ответ вообще находится в документах, — а не поведение в диалоге.
- Агент, которому дали право что-то делать, а не только отвечать: менять заказ, оформлять возврат, списывать бонусы. Пять вопросов проверяют слова, а здесь цена ошибки — необратимое действие. Такую систему смотрят по журналу выполненных операций и по белому списку разрешённых действий, а не по диалогу.
Между показом и эксплуатацией меняются три вещи: версия модели у провайдера, содержимое базы знаний и характер вопросов реальных клиентов. Поэтому за пятью вопросами обязан идти приёмочный прогон на закрытой выборке заказчика и ежемесячный замер по той же методике. Система, которая на демонстрации отвечала безупречно, через полгода без замеров отвечает заметно хуже — и узнаёте вы об этом от клиента.
Демонстрация отвечает на вопрос «может ли система ответить». Приёмка отвечает на вопрос «как часто она ошибается и что при этом происходит». Это разные вопросы, и подписывают акт по второму.
