Чек-лист выбора модели — это восемнадцать вопросов в пяти блоках, которые заполняются за два-три часа и заканчиваются одной подписанной страницей. Два блока работают как фильтры: провал в них снимает кандидата с рассмотрения полностью. Три оставшихся дают баллы — 40 за качество, 35 за деньги, 25 за устойчивость. Веса назначаются до того, как получены ответы.
Чек-лист нужен не потому, что выбор сложный, а потому, что он делается один раз и надолго. Через год, когда система работает и встанет вопрос о смене, восстановить логику решения по переписке невозможно. Заполненный лист с датой и подписью снимает этот спор за минуту и заодно показывает, изменились ли исходные предпосылки.
Порядок блоков не произвольный: сначала задача, потом качество, потом право, деньги и устойчивость. В опорной статье те же требования разложены на шесть критериев — два фильтра и четыре оцениваемых; здесь они сгруппированы в пять блоков по тому, кто в компании отвечает за ответ. Полный разбор каждого критерия — в материале про выбор языковой модели для бизнеса.
Задача и качество: восемь вопросов из восемнадцати
Первый блок — фильтр, и провал в нём означает не «кандидат плохой», а «сравнивать пока нечего». Пока операция не сужена до одного действия с проверяемым результатом, любые цифры сравнения будут получены на разных задачах.
| Вопрос блока «задача» | Годный ответ | Стоп-сигнал |
|---|---|---|
| 1. Какую одну операцию делает модель | Одно действие с проверяемым результатом: извлечь пять полей из счёта поставщика в строгом формате | Формулировка «работает с документами» или «помогает менеджерам» |
| 2. Какой объём в месяц | Число обращений из журнала за последние три месяца, с указанием пиков | Оценка по памяти или диапазон в пять раз шириной |
| 3. Сколько стоит одна ошибка | Сумма в рублях или названное последствие: неверная сумма в счёте, обещанный срок, которого нет | Ответ «ошибки недопустимы» без перечня того, что считается ошибкой |
| 4. Есть ли выборка для проверки | 100 реальных примеров с эталонными ответами, собранных вашей стороной | Выборку обещает собрать подрядчик по своему усмотрению |
Четвёртый вопрос — единственный, ответ на который нельзя купить. Как собирается такая выборка, кто пишет эталоны и во что это обходится, разобрано пошагово в материале про проверку модели на своих данных за неделю: 30 часов, 66 300 ₽ и рабочая неделя.
| Вопрос блока «качество» | Годный ответ | Стоп-сигнал |
|---|---|---|
| 5. На чём замеряли качество | На вашей выборке из вашего потока, с указанием версии модели и даты замера | Ссылка на публичный рейтинг или на замер у другого заказчика |
| 6. Кто писал эталоны и кто оценивал | Эталоны — ваш предметный специалист, оценка — третий человек и вслепую | Эталоны и оценку делал тот же, кто настраивал инструкцию для модели |
| 7. Сколько критических ошибок | Отдельная цифра с перечнем того, что отнесено к критическим, согласованным до замера | Одна общая точность без разделения ошибок по тяжести |
| 8. Что происходит на вопросах вне базы | Честный отказ и переадресация человеку, доля отказов измерена отдельной строкой | Уверенный ответ на любой вопрос — признак, что отказ не настроен вовсе |
Кандидат с 82 верными ответами из 100 и семью критическими ошибками хуже кандидата с 78 верными и нулём. Разница в четыре ответа лежит в пределах погрешности выборки, разница между семью выдуманными пунктами договора и нулём — нет. Требуйте две цифры вместо одной и список того, что отнесено к критическому, утверждённый до замера.
Вертикальная схема-воронка из пяти блоков сверху вниз. Первый блок «Задача, 4 вопроса» помечен как фильтр «да/нет», от него вбок отходит стрелка «сравнивать нечего». Второй блок «Качество, 4 вопроса» с ярлыком «40 баллов». Третий блок «Право и данные, 3 вопроса» помечен как фильтр «да/нет», от него вбок стрелка «кандидат снят независимо от цены». Четвёртый блок «Деньги, 3 вопроса» с ярлыком «35 баллов». Пятый блок «Устойчивость, 4 вопроса» с ярлыком «25 баллов». Внизу итоговый блок «Лист решения, подпись, дата». Чертёжный стиль, подписи по-русски.
Право и данные: три вопроса-фильтра
Второй фильтр. Кандидат, не прошедший его, снимается независимо от качества и цены — не потому, что «так положено», а потому, что риск здесь не покрывается экономией. Ответы даёт юрист, а не инженер.
| Вопрос блока «право и данные» | Годный ответ | Стоп-сигнал |
|---|---|---|
| 9. Где физически обрабатываются данные | Серверы на территории России, договор с российским юрлицом, оплата в рублях | Доступ через посредника без договора, оплата через третьих лиц |
| 10. Есть ли поручение на обработку персональных данных | Отдельный документ с перечнем данных, целями и сроком, подписанный до передачи | Ответ «у нас всё по закону» без документа на руках |
| 11. Что происходит с журналами запросов | Названный срок хранения, режим доступа и письменный отказ от обучения на ваших данных | Журналы хранятся бессрочно либо условие об обучении отсутствует в договоре |
Одиннадцатый вопрос чаще всего оказывается решающим. Что именно из вашего потока относится к персональным данным и какие документы нужны до старта, разобрано в материале про аудит персональных данных перед внедрением. Если модель разворачивается в своём контуре, вопросы 9–11 меняются на вопросы о лицензиях — их список собран отдельно в материале про открытые модели и лицензии.
Деньги: три вопроса
Главный вопрос блока — не цена тысячи обращений, а поведение счёта при росте. Тариф сравнивают все, а разбивку на постоянную и переменную часть почти никто, и именно она решает, окупится ли проект на удвоенном объёме.
| Вопрос блока «деньги» | Годный ответ | Стоп-сигнал |
|---|---|---|
| 12. Что стоит тысяча обращений | Расчёт из длины запроса и ответа по тарифу за токены, а не цена подписки | Ответ «зависит от использования» без формулы, по которой можно посчитать |
| 13. Что входит в тариф, а что считается сверх | Перечень: вызовы модели, хранилище, поиск по базе, контроль качества, поддержка | Единая сумма без расшифровки строк |
| 14. Как растёт счёт при удвоении объёма | Разделение на постоянную и переменную часть с расчётом цены обращения на двух объёмах | Ответ «пропорционально» — он означает, что расчёта не делали |
Обратная сторона той же арифметики: на маленьком потоке постоянная часть съедает экономику целиком. Если провайдер не может показать эти две строки раздельно, считайте сами по формуле выше — данных для неё достаточно в любом публичном тарифе. Развёрнутые расчёты на трёх объёмах приведены в материале про расчёт на 2 000, 6 000 и 20 000 обращений.
Столбчатая диаграмма из двух составных столбцов, ось Y — рубли в месяц от 0 до 20 000. Левый столбец подписан «6 000 обращений» и состоит из двух частей: «вызовы модели — 6 240 ₽» и «контроль качества — 6 240 ₽», общая подпись под столбцом «2,08 ₽ за обращение». Правый столбец подписан «12 000 обращений»: части «вызовы модели — 12 480 ₽» и «контроль качества — 6 240 ₽», подпись под столбцом «1,56 ₽ за обращение». Постоянная часть в обоих столбцах закрашена одинаковой штриховкой и соединена горизонтальной линией с подписью «не растёт». Внизу мелкой строкой: «модельный расчёт, сентябрь 2026». Чертёжный стиль, подписи по-русски.
Устойчивость: четыре вопроса
Последний блок закрывается одной цифрой — сколько стоит уйти. Её надо получить до подписания, потому что после подписания она перестаёт быть предметом переговоров и становится вашим риском.
| Вопрос блока «устойчивость» | Годный ответ | Стоп-сигнал |
|---|---|---|
| 15. Какие лимиты и квоты действуют | Названные ограничения по запросам в минуту и по токенам в сутки, с описанием поведения при их достижении | Ответ «лимитов нет» либо «для вас поднимем» без записи в договоре |
| 16. Есть ли резервный провайдер и проверялся ли он | Второй провайдер подключён, переключение проверялось учением с датой последнего прогона | Резерв назван, но никогда не включался — такой резерв резервом не является |
| 17. Есть ли адаптер между системой и моделью | Единый модуль вызова, имя провайдера встречается в коде ровно в одном месте | Вызовы модели разбросаны по бизнес-логике либо сценарии собраны в конструкторе платформы |
| 18. Сколько стоит смена модели | Оценка в часах и рублях с указанием, что входит в переход и кто его принимает | Ответ «поменяем за пару дней» без упоминания повторного замера на вашей выборке |
Ответ на восемнадцатый вопрос проверяется семнадцатым, и обе цифры известны заранее. Переезд с адаптером — 34 часа и 102 000 ₽, без него — 78 часов и 234 000 ₽, а если логика диалогов живёт в конструкторе платформы, адаптер до неё не достаёт и переезд стоит 144 часа и 432 000 ₽. Сам адаптер добавляет к первичной разработке 14 часов и 42 000 ₽ и окупается на первой же миграции — механика перехода разобрана в материале про смену модели без переписывания системы.
Проверка стоит немного: учение раз в квартал — четыре часа инженера и один прогон регресс-набора за 3 240 ₽, итого 15 240 ₽ за учение. Если этих денег в бюджете нет, честнее записать в лист решения, что запасного провайдера нет, и планировать переезд как отдельный проект. Что делать, когда доступ закрывают внезапно, разобрано в материале про то, что делать, если провайдер закрыл доступ.
Лист решения на одну страницу и что делать при ничьей
Итог всех восемнадцати пунктов помещается в одну таблицу. Её распечатывают, подписывают и кладут в дело проекта — вместе с датой замера и версиями моделей, на которых он проводился.
| Блок | Роль в решении | Что означает провал блока |
|---|---|---|
| Задача, вопросы 1–4 | Фильтр «да/нет» | Сравнивать нечего: сначала сузить операцию до одного действия |
| Качество, вопросы 5–8 | 40 баллов | Кандидат выбывает независимо от остальных блоков |
| Право и данные, вопросы 9–11 | Фильтр «да/нет» | Кандидат снят с рассмотрения независимо от цены |
| Деньги, вопросы 12–14 | 35 баллов | Пересчитывается проект целиком, а не выбирается другая модель |
| Устойчивость, вопросы 15–18 | 25 баллов | Кандидат остаётся, но с обязательным адаптером и резервом |
Ничья между двумя кандидатами — не редкость, а обычный исход: на 100 примерах разница в три-четыре ответа неотличима от случайности. Правило разрешения простое и записывается заранее: при разнице в баллах меньше десяти выигрывает кандидат с меньшей стоимостью ухода. Разница между 78 и 82 верными ответами лежит в пределах погрешности, разница между 102 000 ₽ и 432 000 ₽ за миграцию — нет.
- 1Если стоимость ухода одинакова, следующий признак — предсказуемость лимитов: подробности в материале про лимиты и квоты провайдеров.
- 2Если и здесь равенство, берите того, у кого дешевле обращение при удвоенном объёме, а не при текущем.
- 3Если ничья сохраняется после трёх правил, выбор не имеет значения — зафиксируйте это письменно и не тратьте на него ещё неделю.
- 4Подпись под листом ставит тот, кто платит за проект. Инженер готовит, юрист подтверждает фильтр, решение принимает руководитель.
Нарисованный макет одностраничного документа. Шапка: «Лист решения по выбору модели», справа поля «дата замера» и «версии моделей». Далее таблица из трёх колонок «Кандидат А», «Кандидат Б», «Кандидат В» и пяти строк: «Задача — фильтр», «Качество — из 40», «Право и данные — фильтр», «Деньги — из 35», «Устойчивость — из 25». Под таблицей строка «Итого баллов» и отдельная выделенная строка «Стоимость ухода, ₽» со значениями 102 000, 234 000 и 432 000. Внизу подчёркнутая строка «Решение принял» с местом для подписи и должности. Чертёжный стиль, подписи по-русски.
Когда чек-лист заполнять не надо
Три ситуации, в которых восемнадцать вопросов — лишняя работа. В двух из них заполненный лист будет формально корректным и при этом бесполезным.
- Задача решается без модели. Расчёт по формуле, маршрутизация по полю, проверка формата не требуют выбора кандидата вообще — сравнивать нечего. Шесть таких классов задач разобраны в материале про то, когда ИИ не нужен, и разница там доходит до 191 760 ₽ в первый год.
- Поток меньше 300 обращений в месяц. Блок качества на таком объёме не наполняется данными: разница между кандидатами тонет в случайности. Разумнее взять доступного и заполнить только фильтры — задачу, право и данные.
- Кандидат один. Если по фильтрам проходит единственный вариант, баллы не нужны — нужен только зафиксированный письменно ответ на вопрос 18 и заложенный в бюджет адаптер за 42 000 ₽.
И обратный случай, где чек-лист обязателен целиком: система, от которой зависит выручка или обязательства перед клиентом, и проект дороже 300 000 ₽. Здесь два-три часа на восемнадцать вопросов — самая дешёвая страховка в проекте, и заполняются они до подписания договора, а не после первого разочарования. Как принимать уже готовую систему, разобрано отдельно в материале про приёмку ИИ-системы у подрядчика.
Чек-лист не выбирает модель за вас. Он не даёт выбрать её по единственной цифре, которую показал продавец, — и в этом вся его работа.
