Ничего не зная, языковая модель не замолкает — она собирает правдоподобное продолжение текста и подаёт его ровно тем же уверенным тоном, что и верный ответ. В диалоге с клиентом это выглядит как готовность помочь: агент называет срок, которого нет в регламенте, цену из старого прайса или условие гарантии, которого не существует. Никакого признака сомнения в ответе нет, потому что механизма сомнения в модели тоже нет.
Поведение «не знаю» строится руками, стоит отдельных денег и проверяется отдельно. Оно собирается из трёх механизмов: ответ формируется только из найденных в базе фрагментов, слабые совпадения отсекаются порогом уверенности, а на случай отсутствия источника есть заранее написанная фраза и настроенный маршрут к человеку. Ни один из трёх не появляется сам по себе от выбора модели — ни у GigaChat, ни у YandexGPT, ни у локальной модели на своём сервере.
Ниже — механика уверенного вранья, три механизма и как каждый выглядит со стороны клиента, приёмочный набор вопросов с расчётом его стоимости, что делать с накопленными отказами и как формулировать отказ. Цены — по состоянию на сентябрь 2026 года.
Почему модель не умеет молчать
Ответ, в котором форма правильная, а факт выдуман: та же структура, та же вежливая интонация, тот же уровень детализации, что и в верных ответах. Отличить его по виду нельзя ни клиенту, ни сотруднику, который читает переписку по диагонали. Подробный разбор того, откуда берётся такое поведение, — в материале про механику галлюцинаций простыми словами.
Модель предсказывает следующее слово, а не проверяет факт. Вопрос про доставку в город, которого нет в вашем списке, структурно ничем не отличается от вопроса про город, который в списке есть: и там, и там ожидается короткий ответ с уточнением срока, и ничто внутри не подсказывает, что под первым опоры не было. Именно поэтому фраза в системном промпте вроде «не выдумывай, отвечай только по базе» ограничителем не является — это пожелание, которое перестаёт работать на нестандартной формулировке.
Цена такой ошибки считается не в процентах, а в рублях за случай. Один уверенный неверный ответ про цену или срок обходится примерно в 725 ₽ вместе с разбором, повторным обращением и усреднённой уступкой клиенту — эту арифметику мы разбирали в статье про отказ «не знаю» как целевое поведение. Дальше это число понадобится в расчёте.
Горизонтальная схема обработки вопроса из шести блоков: «вопрос клиента → поиск по базе знаний → оценка совпадения → развилка → ответ / отказ → журнал». В блоке «оценка совпадения» нарисована шкала с горизонтальной чертой и подписью «порог уверенности». От развилки идут две стрелки: вверх — «фрагмент найден: ответ строится только из него, со ссылкой на источник»; вниз — «фрагмент не найден: заранее написанная фраза отказа и перевод на человека». Ниже параллельно нарисована серая ветка «без контура», ведущая напрямую от вопроса к блоку «правдоподобный ответ без источника», перечёркнутая крестом. Справа лоток «очередь: агент не знал» со стрелкой обратно в базу знаний. Чертёжный стиль, все подписи по-русски.
Три механизма, которые ставятся руками
Механизмы работают только вместе. Первый определяет, из чего вообще можно собрать ответ, второй — когда собирать нельзя, третий — что произойдёт вместо ответа. Убрать любой из трёх означает вернуть агента в исходное состояние: он снова начнёт достраивать пробелы.
- 1Ответ строится только из найденных фрагментов, со ссылкой на источник
Модель получает не вопрос клиента, а вопрос плюс найденные куски вашей базы, и ей запрещено выходить за их пределы. В ответе указывается, откуда взято: пункт регламента, название документа, дата прайса. Ссылка нужна не для красоты — она делает ответ проверяемым за десять секунд и сразу показывает, когда агент опёрся не на тот документ. Как устроен сам поиск, разбирали в материале про RAG простыми словами.
- 2Порог уверенности поиска
У каждого найденного фрагмента есть оценка близости к вопросу. Если лучшая оценка ниже установленного значения, ответ не собирается вовсе — даже если формально что-то нашлось. Это защита от похожего, но не того: вопрос про возврат товара находит регламент возврата денег, и без порога агент уверенно ответит по соседнему документу. Почему поиск промахивается и на чём именно, разбирали отдельно.
- 3Заранее написанная фраза отказа и настроенный маршрут
Текст отказа пишется человеком один раз и не импровизируется моделью. Вместе с ним настраивается маршрут: в какой канал и кому уходит случай, что происходит в нерабочее время, что видит клиент, если специалист не ответил за час. Маршрут — половина механизма: отказ без перевода на человека клиент читает как «здесь мне не помогут». Список тем, которые уходят человеку сразу и без попытки ответить, задаётся стоп-темами.
| Механизм | Что делает внутри | Что видит клиент | Как проверить на приёмке |
|---|---|---|---|
| Ответ только по найденным фрагментам | Модель формулирует исключительно из того, что вернул поиск | Ответ с указанием источника: пункт регламента, документ, дата прайса | Задать вопрос, которого нет в базе: должен быть отказ, а не общая вежливая фраза |
| Порог уверенности поиска | Слабые совпадения отсекаются, ответ не собирается | Отказ и предложение соединить со специалистом | Попросить показать значение порога и журнал случаев, где он сработал |
| Фраза отказа и маршрут перевода | Фиксированный текст и правило, кому и куда уходит случай | Одна и та же формулировка каждый раз, без импровизации | Проверить, что перевод доходит до человека в рабочее и в нерабочее время |
Приёмка: набор вопросов, ответов на которые нет
Обычная демонстрация проверяет обратное тому, что нужно: подрядчик показывает, как агент отвечает на вопросы, ответы на которые в базе есть. Это проверка поиска, а не проверка честности. Единственный способ убедиться, что механизмы отказа собраны, — задать то, чего в базе заведомо нет, и посмотреть, что произойдёт.
- 1Набор из 30–50 вопросов составляет владелец процесса, а не подрядчик. Подрядчик знает, что лежит в базе, и невольно выберет вопросы, на которых система выглядит хорошо.
- 2Половина вопросов — правдоподобные: соседняя услуга, которой вы не оказываете, город без вашего филиала, тариф из прошлогоднего прайса, условие гарантии со слов конкурента. Именно такие и провоцируют выдумку.
- 3Норма результата: отказ почти во всех случаях. Допускается один-два мягких ответа без конкретики, но ни одного выдуманного факта — цены, срока, названия, условия. Один такой факт означает, что механизм не собран.
- 4Прогон записывается построчно: вопрос, ответ агента, сработал ли перевод на человека. Без записи повторить проверку через квартал невозможно, а сравнить — тем более.
- 5Набор превращается в регресс: тот же прогон повторяется после каждой правки правил, при смене прайса или регламента и раз в квартал. Зачем нужен постоянный тестовый набор, разбирали в статье про тестовый набор и регресс при обновлении.
Стоит такой набор конкретных денег, и это те деньги, которые окупаются быстрее всего в проекте. Ниже — расчёт для набора из 40 вопросов при ставке владельца процесса 900 ₽/час и инженера 3 000 ₽/час.
Арифметику легко пересчитать: 4 часа по 900 ₽ дают 3 600 ₽, семь часов инженера по 3 000 ₽ — 21 000 ₽, вместе 24 600 ₽. Доля вопросов за пределами базы в 20 % — это не пессимистичная оценка, а типичное значение первого месяца работы; дальше по мере пополнения базы она опускается до 10–12 %. Пятнадцать процентов выдумок из этих 600 случаев дают 90 инцидентов и 65 250 ₽ в месяц: 24 600 ₽ на этом фоне возвращаются меньше чем за две недели.
Диаграмма из двух частей. Слева невысокий столбик «приёмочный набор, разово» — 24 600 ₽, разбитый на четыре сегмента с подписями: сбор вопросов 3 600 ₽, прогон 6 000 ₽, разбор и правка 12 000 ₽, повторный прогон 3 000 ₽. Справа высокий столбик «потери без механизма отказа, в месяц» — 65 250 ₽, с пояснительной выноской «600 вопросов вне базы, 15 % выдумок, 725 ₽ за случай». Между столбиками горизонтальная стрелка с подписью «возврат за 11–12 дней». Оси подписаны: рубли. Чертёжный стиль, подписи по-русски.
Очередь «агент не знал» — это источник, а не ошибка
Отказ, который никуда не записан, — потерянная информация. Каждый случай, где механизм сработал, попадает в отдельную очередь с формулировкой вопроса, временем и тем, чем закончилось обращение у человека. Через месяц эта очередь становится самым точным описанием того, чего не хватает в базе знаний, — точнее любого опроса сотрудников, потому что она собрана из реальных вопросов клиентов.
- Очередь группируется по темам, а не разбирается по одному случаю. Закрывать имеет смысл частотные темы: обычно небольшая их часть даёт большинство отказов.
- У каждой темы есть владелец — тот, кто может дать по ней однозначный ответ. Без имени тема висит месяцами, потому что «написать про доставку» — это ничья задача.
- Закрытая тема попадает в базу как отдельный фрагмент с датой и источником, а не дописывается в конец существующего документа. Правила нарезки разбирали в материале про подготовку базы знаний.
- Доля отказов после пополнения пересчитывается. Если она не падает, дело не в базе, а в поиске или пороге — и это уже другая задача.
Если после запуска агент перестал отказываться совсем, первым делом проверяют, не понизили ли порог уверенности «чтобы цифра автоматизации была красивее». Нормальные значения доли отказов, границы коридора и то, о чём говорит слишком высокая доля, разобраны в соседнем материале про отказ как целевое поведение. Ноль в этой метрике почти всегда означает, что агент вернулся к выдумыванию.
Как формулировать отказ, чтобы он не читался как отказ
Механизм может быть собран идеально и всё равно раздражать клиента — из-за одной фразы. Разница между «я не могу ответить на этот вопрос» и «уточню у специалиста и вернусь с ответом» техническая нулевая, а по восприятию это разные события: первое закрывает разговор, второе продолжает его. Клиенту важен не факт незнания, а то, что произойдёт дальше.
- Работает: что дальше и когда. «Передал вопрос специалисту, ответит в течение рабочего дня» — обещание действия со сроком, которое агент может выполнить.
- Не работает: «я всего лишь бот и не обладаю такой информацией». Это снимает ответственность с компании и сообщает клиенту, что он говорит не с тем, с кем нужно.
- Не работает: отказ без маршрута. Если после фразы «уточню у специалиста» никто не пишет, следующее обращение придёт уже в тоне претензии.
- В нерабочее время формулировка другая: честно сказать, когда ответят, а не обещать «в течение часа». Отдельно проверяется, что маршрут ночью не упирается в пустой чат — как это устроено, разбирали в материале про единое окно обращений из всех каналов.
Когда механизм отказа не нужен
Конструкция из трёх механизмов рассчитана на агента, который разговаривает с клиентом от имени компании. В части задач она избыточна, а иногда прямо мешает.
- Агент готовит черновик для сотрудника, а не ответ клиенту. Здесь полезнее не отказ, а неуверенный черновик с подсветкой сомнительных мест: человек всё равно прочитает и правит, а пустой ответ лишает его заготовки.
- Задача с закрытым списком исходов: классификация обращения по восьми категориям, определение темы письма, маршрутизация. Там роль отказа выполняет категория «прочее», и отдельный порог уверенности не нужен.
- База знаний ещё не собрана. Механизм даст 80–90 % отказов, и это будет верный результат — но диагноз тут базе, а не агенту. Сначала подготовка базы, потом запуск.
- Внутренний поиск для сотрудников по документам компании. Сотрудник сам видит, что найденный фрагмент не о том, и цена ошибки — секунды его времени.
И обратное: если агент общается с клиентом и говорит про деньги, сроки или условия договора, механизм отказа не опция. Он проверяется на приёмке первым, до всех остальных пунктов, потому что все остальные проверяют, насколько хорошо система работает, а этот — насколько дорого она ошибается.
Хороший агент отличается от плохого не долей правильных ответов, а поведением в тот момент, когда правильного ответа у него нет.
