При потоке около 6 000 обращений в месяц рабочая норма выборочной проверки — 70 случайных диалогов в неделю: это 5 % потока, 303 диалога в месяц и примерно 2,5–3 часа работы одного человека в неделю. Меньше 50 диалогов в неделю брать бессмысленно на любом потоке: доля дефектов начинает скакать от случайности, и по ней нельзя принять ни одного решения.
Проверка нужна по причине, которая не очевидна на демонстрации: ошибки ИИ-ассистента не выглядят как ошибки. Придуманный срок доставки и срок, взятый из вашего регламента, написаны одинаково спокойным тоном, одинаковой длины и с одинаковой вежливой концовкой. Отличить их можно только сверкой с источником, а сверку кто-то должен делать по расписанию — иначе первым проверяющим становится клиент.
Ниже — минимальный ритуал, который компания ведёт своими силами весь год эксплуатации: объём выборки, четыре критерия, зона сплошной проверки, три способа исправления и отчёт из трёх чисел. Полный контур с корзинами отбора по риску и чек-листом из восьми пунктов — отдельная работа на 33 часа в месяц, она разобрана в материале про выборочный контроль диалогов.
Сколько диалогов читать и во что это обходится
Объём выборки растёт не пропорционально потоку. На маленьком потоке дешевле читать всё, на большом доля падает, а абсолютное число растёт медленно. Часы в таблице посчитаны по две минуты на диалог — это средняя скорость оценки по четырём критериям, и её стоит один раз замерить на своих диалогах, потому что от неё зависит весь бюджет.
| Поток обращений в месяц | Диалогов в неделю | Доля потока | Диалогов в месяц | Часов в месяц |
|---|---|---|---|---|
| 600 | 140 — читаются все | 100 % | 600 | 20,0 ч |
| 1 500 | 90 | 26 % | 390 | 13,0 ч |
| 6 000 | 70 | 5 % | 303 | 10,1 ч |
| 20 000 | 100 | 2 % | 433 | 14,4 ч |
Случайность выборки важнее её размера. Человек, которому предложено «посмотреть диалоги», открывает интересные: длинные, с негативом, со знакомым клиентом — и видит не уровень системы, а свои ожидания. Правило: берётся выгрузка всех диалогов за неделю, из неё каждый двадцатый по порядку, шаг и стартовое смещение записываются в отчёт.
- Не выбирать глазами. Список идентификаторов, шаг выборки и стартовое смещение — три строки, которые делают проверку воспроизводимой.
- Не брать диалоги подряд. Двадцать разговоров одного часа — это один сюжет, а не двадцать наблюдений: в этот час мог идти один и тот же вопрос от одной рекламной кампании.
- Захватывать вечер и выходные. Ночной и субботний потоки устроены иначе: другие вопросы, другая доля новых клиентов, и дефекты там свои.
- Держать минимум 50 диалогов в неделю независимо от потока. При 20–30 диалогах разница между 3 % и 7 % дефектов статистически неотличима, и отчёт превращается в шум.
Читать должен человек, который знает предметную область и имеет право менять базу знаний: старший оператор, методист, руководитель группы поддержки. Инженер подрядчика для этой работы не годится — он не отличит действующий регламент от отменённого. Вариант с руководителем дороже вдвое и оправдан только первые два-три месяца, пока набирается понимание, что вообще считать дефектом.
Схема цикла из четырёх блоков со стрелками по кругу. Блок 1 — «Выгрузка за неделю, каждый двадцатый: 70 диалогов». Блок 2 — «Оценка по четырём критериям, 2 минуты на диалог». Блок 3 — «Карточка дефекта: цитата, критерий, был ли факт в базе». Блок 4 — «Правка: знания, правило или сценарий». От блока 4 стрелка возвращается к блоку 1 с подписью «через неделю». Сбоку отдельная ветка от блока 1 с подписью «зона нулевой терпимости — сплошная сверка». Чертёжный стиль, подписи по-русски.
Четыре критерия за две минуты
Критериев именно четыре, и это осознанное сокращение. Развёрнутый чек-лист из восьми пунктов точнее, но требует трёх минут на диалог и внимания, которого хватает примерно на сорок диалогов подряд. Четыре критерия проверяются за две минуты, выдерживаются весь час и ловят те дефекты, которые действительно доходят до денег.
- 1Фактическая верность
Каждое утверждение о цене, сроке, наличии, условии или документе совпадает с источником. Проверяется не по памяти, а открытием источника — прайса, регламента, карточки товара. Это единственный критерий, где допустим жёсткий ноль: один неверный факт делает диалог дефектным независимо от всего остального.
- 2Полнота
Клиент получил ответ на весь вопрос, а не на его половину. Типичный дефект: спросили про срок и стоимость доставки, в ответе только срок. Формально верно, но клиент задаст второй вопрос — и это видно в доле повторных обращений.
- 3Тон и форма
Обращение на «вы», первое предложение отвечает на вопрос, нет двойных извинений, уточнений не больше одного за раз. Критерий кажется косметическим, но именно его клиент замечает сразу.
- 4Своевременность передачи оператору
Диалог ушёл человеку на первом признаке того, что система не справляется, а не после трёх кругов уточнений. Считается по числу реплик до передачи: больше четырёх — повод разобраться. Поздняя передача раздражает сильнее немедленной — почему бот раздражает клиентов, разобрано отдельно.
Отметка по каждому критерию — «да», «нет» или «не применимо». Диалог считается дефектным, если «нет» стоит хотя бы у первого или второго критерия; третий и четвёртый снижают качество, но в статистику дефектов не идут — иначе доля дефектных диалогов держится на 30 % и перестаёт что-либо значить.
Зона нулевой терпимости: сплошь, но не глазами
Есть три темы, где выборка неуместна в принципе: цены и суммы, сроки и обязательства, формулировки из договора и юридические условия. Ошибка здесь не портит впечатление, а создаёт обязательство: клиент прочитал названную сумму и вправе её требовать. Проверять такие ответы надо все до одного — но не чтением, иначе это отдельная ставка.
Механика сплошной проверки техническая. Система обязана прикладывать к каждому фактическому утверждению ссылку на источник — строку прайса, пункт регламента, поле карточки. Дальше сверка идёт автоматически: сумма из ответа сравнивается со значением в источнике, и расхождение попадает в список. Вручную читаются только позиции этого списка.
| Что попадает в зону | Сколько это в модельном примере | Как проверяется | Что смотрит человек |
|---|---|---|---|
| Ответы с суммой, ценой или скидкой | около 430 в месяц | Сверка значения со строкой прайса | Расхождения и ответы без ссылки на источник |
| Ответы со сроком: доставка, изготовление, возврат | около 220 в месяц | Сверка с действующим регламентом сроков | Все случаи, где срок назван словами, а не числом |
| Условия договора и юридические формулировки | около 70 в месяц | Сверка с шаблоном договора и списком стоп-тем | Все ответы, где сработала или не сработала стоп-тема |
| Итого | около 720 в месяц, 12 % потока | Автоматически | 15–25 расхождений, около 1 часа в месяц |
Ассистент, который отвечает про цены и сроки, но не показывает, откуда взял число, проверяется только сплошным чтением — 720 диалогов и 24 часа в месяц, то есть человек на полставки. Требование «к каждому фактическому утверждению прикладывается ссылка на источник» записывают до внедрения: на этапе разработки оно стоит немного, после запуска превращается в переделку слоя поиска.
Сравнение в две колонки. Левая — «Выборочно, глазами»: 303 диалога в месяц, 5 % потока, четыре критерия, 10,1 часа. Правая — «Сплошь, автоматически»: 720 ответов с суммами, сроками и условиями договора, 12 % потока, сверка со ссылкой на источник, человеку остаётся 15–25 расхождений и 1 час. Между колонками вертикальная разделительная линия с подписью «граница проходит по цене ошибки, а не по объёму». Чертёжный стиль, подписи по-русски.
Три способа исправить найденное
Найденный дефект чинится тремя разными способами, и они не взаимозаменяемы. Правка не того слоя выглядит как решение ровно до следующего похожего вопроса: ошибка возвращается другим путём, а в отчёте она уже помечена закрытой. Выбор определяется одним вопросом к журналу: был ли нужный факт в базе знаний на момент ответа.
| Что видно в дефекте | Что чинить | Кто делает | Разумный срок |
|---|---|---|---|
| Факта в базе не было или он устарел | Знания: статья, справочник, источник цен | Администратор системы или методист | 2 рабочих дня |
| Факт в базе был, но система вышла за рамки: назвала срок «обычно пара дней», дала совет, обсудила конкурента | Правило: стоп-тема, запрет на числа без источника, границы компетенции | Инженер подрядчика | 5 рабочих дней |
| Всё верно, но клиент не получил результата: три круга уточнений, поздняя передача оператору | Сценарий: порядок шагов, условие эскалации, состав уточняющих вопросов | Владелец процесса вместе с инженером | Ближайшее окно изменений |
Первая строка — самая частая и самая недооценённая: примерно две трети дефектов на живой системе лечатся правкой знаний, а не доработкой. Порядок ведения базы и владелец каждого раздела разобраны в материале про обновление базы знаний бота. Вторая и третья строки требуют подрядчика и попадают в план работ.
Отдельно стоит следить за тем, чтобы правка не откатывалась. Обновление модели у провайдера или переписанный промпт возвращают старое поведение, и случайная выборка на этот дефект больше не попадёт. Дешёвая защита — держать список из двадцати-тридцати вопросов, на которых система однажды ошиблась, и прогонять его после каждого обновления: полчаса работы вместо нового цикла обнаружения.
Три числа в месячном отчёте и когда звонить подрядчику
Руководителю не нужен разбор диалогов — ему нужны три числа и понятный порог. Отчёт помещается в письмо и занимает у проверяющего тот самый час, который заложен в расчёт выше.
- 1Доля дефектных диалогов в выборке. Считается по первым двум критериям. Норма для устоявшейся системы — до 5 %; тревога не в абсолютном значении, а в росте на треть за месяц: было 4 %, стало 5,5 % — это уже сигнал.
- 2Число дефектов в зоне нулевой терпимости. Норма — ноль. Здесь работает не доля, а счётчик: один неверно названный срок в договорной формулировке важнее двадцати шероховатостей тона.
- 3Число дефектов, не закрытых больше месяца. Показывает не качество системы, а работоспособность самого цикла. Норма — ноль; растущая строка означает, что находки складываются в файл и никем не берутся в работу.
Каждую неделю проверяющий смотрит на четыре числа, это пять минут: сколько диалогов прочитано против плана в 70, сколько дефектов найдено, сколько из них в зоне нулевой терпимости и какова доля передач оператору. Последнее — общий индикатор здоровья: рост на треть за месяц означает дрейф знаний, а не случайность.
Вне планового разговора подрядчика зовут в трёх случаях: доля дефектных диалогов выше 5 % два месяца подряд, любой дефект в зоне нулевой терпимости или доля передач оператору выросла в полтора раза к базовому значению. Всё остальное копится до месячного отчёта — срочная работа вне графика стоит дороже, а разовый дефект без повтора обычно чинится правкой знаний на вашей стороне.
Нарисованный лист отчёта на одну страницу. Три крупных числовых блока в ряд: «Доля дефектных диалогов — 4,3 %, норма до 5 %», «Дефектов в зоне нулевой терпимости — 0, норма 0», «Дефектов старше месяца — 2, норма 0». Под ними узкая полоса динамики за шесть месяцев по первому показателю. Внизу строка «Решение: правка знаний — 6, правило — 1, сценарий — 0». В правом нижнем углу мелкая подпись «выборка 303 диалога, шаг 20». Чертёжный стиль, подписи по-русски.
Когда выборочная проверка не нужна
Ритуал стоит от 10 270 ₽ в месяц и требует дисциплины, а значит, навязывать его надо не всем. Есть три случая, когда отдельная процедура — лишние деньги.
- Ответ подтверждает человек перед отправкой. Черновик письма, предзаполненная карточка, автозаполнение CRM — дефект ловится на следующем шаге тем, кто и так обязан прочитать результат.
- Система не генерирует свободный текст. Если ответы собираются из готовых шаблонов по справочнику, проверять нечего: шаблон либо подставился, либо нет, и это ловится тестами, а не чтением.
- Поток меньше 300–400 обращений в месяц. Проще прочитать всё: 10–13 часов в месяц, точнее любой выборки. Отдельный регламент нужен примерно от 1 500 обращений.
И честная граница процедуры. Проверка не улучшает систему — она на несколько недель раньше клиента обнаруживает, что система стала хуже. Улучшение происходит там, где дефект превращается в правку. Если у проверяющего нет права менять базу знаний и ставить задачу подрядчику, компания платит 10 270 ₽ в месяц за наблюдение за собственной деградацией. Поэтому первой строкой регламента идёт фамилия, а не процент выборки.
Выборка отвечает на вопрос «стало ли хуже». На вопрос «стало ли лучше» отвечает только сделанная правка.
