Пилот — это покупка информации. Вы платите деньгами и календарём за ответ на вопрос, который нельзя получить иначе. Отсюда и критерий: если ответ известен заранее или получается дешевле другим способом, пилот не нужен — он просто добавляет месяц к сроку и около 20 % к бюджету, не меняя ни одного решения.
На практике решение принимается не по этому критерию, а по привычке: «сначала попробуем на маленьком куске» звучит осторожно и ответственно. Проблема в том, что осторожность стоит денег, и в модельном проекте на 450 000 ₽ полная цена пилота — 111 800 ₽ и четыре недели, из которых 31 800 ₽ приходится на часы ваших же сотрудников и в смете подрядчика не значится.
Ниже — тест из трёх вопросов, четыре ситуации, где пилот лишний, три, где он обязателен, и пять альтернатив, которые дают тот же ответ дешевле. Как устроен сам пилот, какие пороги в нём фиксируются до старта и чем он отличается от MVP и демонстрации, разобрано в материале про пилот и MVP в автоматизации.
Тест из трёх вопросов
Тест занимает пятнадцать минут и делается до разговора с подрядчиком. Он ничего не решает за вас — он показывает, есть ли вообще предмет для проверки.
- 1На какой вопрос отвечает пилот? Одна фраза, начинающаяся со слова «сработает ли» или «какая доля». Не «посмотрим, как пойдёт», а «сможет ли система извлечь шесть полей из наших накладных». Если вопрос не формулируется в одну фразу, его нет.
- 2Каким числом он ответит? Названы метрика и порог: доля верно распознанных документов, доля обращений, закрытых без оператора, время обработки одной заявки. Порог фиксируется до старта, иначе результат всегда можно объявить успешным.
- 3Какое решение вы примете при каждом исходе? Два ответа: что делаете, если число выше порога, и что делаете, если ниже. Если ниже порога вы всё равно продолжаете проект, потому что «деньги уже заложены», — пилот вам не нужен, вы уже приняли решение.
Третий вопрос отсеивает больше половины планируемых пилотов. Он же самый неудобный: признать, что решение фактически принято, а проверка нужна для спокойствия, тяжелее, чем оплатить четыре недели. Но 111 800 ₽ за спокойствие — дорого, и есть способы получить его дешевле.
Второй фильтр, дополняющий три вопроса: сравните, во что обойдётся ошибка, если гипотеза не подтвердится уже в проекте, с полной ценой пилота. Рабочий ориентир — отношение не меньше трёх. Важная поправка: считать надо полную цену пилота, включая внутренние часы, а не сумму из коммерческого предложения. В модельном примере смета подрядчика даёт отношение 5,6, а с внутренними часами — 4,0. На проектах поменьше эта поправка регулярно переводит решение из «делаем» в «не делаем».
Четыре ситуации, где пилот не нужен
В каждой из них есть более дешёвый способ получить тот же ответ, и он указан в последней колонке.
| Ситуация | Почему пилот не отвечает ни на что | Что делать вместо |
|---|---|---|
| Задача типовая, решение обратимое | Обмен по документированному интерфейсу, уведомления, распределение заявок по правилам. Неизвестных нет, откат занимает часы | Ограниченный первый этап с точкой выхода: он же и есть проверка, но результат идёт в дело |
| Объём небольшой | Пилот стоит столько же, сколько при большом объёме: разметка выборки и настройка не масштабируются вниз | При бюджете проекта до 300 000 ₽ — сразу разработка с приёмкой по этапам |
| У продукта есть настоящий бесплатный тестовый период | Вы платите за то, что вендор отдаёт даром на 14–30 дней | Израсходовать тестовый период на своих данных и своих людях, а не на демонстрационной базе |
| Вопрос звучит как «окупится ли» | Это вопрос к арифметике, а не к работающей системе: четыре недели настройки не сделают расчёт точнее | Замер текущего процесса на двух неделях наблюдений и расчёт окупаемости по нему |
Второй строке стоит уделить отдельное внимание, потому что она контринтуитивна. Кажется, что маленький проект — тем более повод «сначала попробовать». На деле именно на малом бюджете пилот съедает непропорциональную долю: разметить контрольную выборку, настроить окружение и провести два круга разбора нужно одинаково и при проекте на 300 000 ₽, и при проекте на 3 000 000 ₽. В первом случае это больше трети сметы, во втором — четыре процента. И отдельно про последнюю строку таблицы: вопрос «окупится ли» закрывается расчётом окупаемости на замерах текущего процесса — четыре недели настройки не сделают этот расчёт ни на процент точнее.
График с осями: X — бюджет проекта от 300 000 до 3 000 000 ₽, Y — доля полной цены пилота в процентах от 0 до 40. Резко спадающая кривая с тремя подписанными точками: «300 000 ₽ — пилот 111 800 ₽ — 37 %», «450 000 ₽ — 111 800 ₽ — 25 %», «3 000 000 ₽ — 130 000 ₽ — 4 %». Горизонтальная линия на отметке 20 % с подписью «выше этой доли пилот обычно не оправдан». Сноска: «полная цена включает 31 800 ₽ внутренних часов». Чертёжный стиль, подписи по-русски.
Три ситуации, где пилот обязателен
Здесь он нужен независимо от размера бюджета, и экономия на нём почти всегда оборачивается более дорогой остановкой в середине проекта.
- Неизвестное качество данных. Никто, включая вас, не знает, насколько ваши документы, записи разговоров или справочники пригодны для машинной обработки. Пилот здесь измеряет одно число — долю материала, который система обрабатывает без вмешательства человека, — и это число невозможно предсказать ни по отрасли, ни по чужому опыту.
- Технология, которой в компании ещё не было. Языковые модели, компьютерное зрение, распознавание речи. Разница между «в целом работает» и «работает на нашем материале» здесь принципиальна: в акцентах, освещении цеха, шаблонах документов поставщиков. Демонстрация подрядчика этой разницы не показывает никогда.
- Большой необратимый бюджет. Решение перестраивает процесс, и откат займёт не неделю, а квартал. Четыре недели проверки дешевле любого исхода наугад — и здесь пилот нужен даже тогда, когда его отношение цены к цене ошибки формально хорошее.
Признак, объединяющий все три: вы не можете назвать ожидаемое число заранее. Если на вопрос «какая доля документов распознается корректно» вы честно отвечаете «понятия не имею, от 40 до 95 процентов», — проверка нужна. Если отвечаете «около девяноста, как на соседнем участке», проверять нечего.
Полная цена пилота: строка, которой нет в смете
Смета подрядчика описывает его работу. Ваши сотрудники в это время тоже заняты: отбирают материал, размечают эталон, сидят на встречах и разбирают результат. Эти часы никем не выставляются в счёт, но реально изымаются из работы — и именно они превращают «пилот за 80 000 ₽» в четверть бюджета проекта.
Разница между 17,8 % и 24,8 % кажется небольшой, но она меняет вывод теста. По смете подрядчика отношение цены ошибки к цене проверки равно 5,6 — «пилот оправдан». По полной цене оно 4,0, и на проекте чуть поменьше — уже около трёх, то есть на границе. Это не повод отказываться от проверки там, где она нужна; это повод считать её честно, как и любой другой этап проекта. Тот же принцип применяется ко всему бюджету первого года: внутренние часы есть везде, и везде их забывают.
Отдельная арифметика — для компаний, где пилот стал обычаем. Три проверки в год по такой схеме — это 335 400 ₽ и двенадцать недель календаря, потраченных на подтверждение того, что и так было понятно. За те же деньги делается ещё один небольшой проект целиком.
Сравнение в две колонки на общей шкале рублей от 0 до 120 000. Левая «Смета подрядчика»: один блок 80 000 ₽, подпись «17,8 % бюджета проекта в 450 000 ₽». Правая «Полная цена»: тот же блок 80 000 ₽ плюс три надстроенных блока — «разметка выборки 8 400 ₽», «встречи и пороги 14 400 ₽», «разбор результата 9 000 ₽», итог 111 800 ₽, подпись «24,8 % бюджета». Сбоку вертикальная отметка «25 часов сотрудников». Внизу подпись: «отношение цены ошибки к цене проверки: 5,6 по смете, 4,0 по факту». Чертёжный стиль, подписи по-русски.
Пять альтернатив и что каждая проверяет
Почти всегда есть способ снять неопределённость дешевле. Ниже — пять инструментов с ценой и с честным указанием на то, чего каждый из них не покажет.
| Инструмент | На какой вопрос отвечает | Цена и срок | Чего не покажет |
|---|---|---|---|
| Демонстрация на ваших данных | Увидит ли система ваши форматы вообще | 0–15 000 ₽, 3–5 дней | Долю на большом объёме: 30 документов не репрезентативны |
| Бесплатный тестовый период у вендора | Подходит ли готовый продукт вашему процессу | 0 ₽, 14–30 дней | Поведение под нагрузкой и стоимость доработок под вас |
| Ручной замер на 50 случаях | Сколько процесс стоит сейчас и где теряется время | 8 ч сотрудника, около 5 600 ₽, 2 дня | Способна ли система это заменить — это про экономику, а не про технологию |
| Ограниченный первый этап с точкой выхода | Строится ли это вообще на вашем контуре | 20–25 % проекта, но идёт в зачёт и остаётся в работе | Ничего не покажет заранее: результат виден только к концу этапа |
| Расчёт окупаемости на замерах | Окупится ли и при каком объёме | 0 ₽ и день работы, если замеры уже есть | Качество работы системы: расчёт опирается на предположение о нём |
Четвёртая строка — самая недооценённая. Ограниченный первый этап отличается от пилота одним: его результат не выбрасывается. Вы делаете настоящий кусок системы на настоящем участке, принимаете его по критериям и только после этого решаете, продолжать ли. Деньги превращаются в работающую часть, а не в отчёт. Как разбить проект на этапы с приёмкой на каждом, разобрано в материале про запуск по частям или сразу всей компанией.
Схема-дерево решения. Верхний блок «Нужна проверка?». Три последовательных ромба-вопроса: «Сформулирован вопрос одной фразой?», «Назван порог числом?», «Решение изменится при плохом исходе?». Отрицательный выход каждого ведёт в блок «Пилот не нужен: решение уже принято». Положительный выход всех трёх ведёт к ромбу «Есть более дешёвый способ?», от которого пять веток к альтернативам с ценами: «демонстрация 0–15 000 ₽», «тестовый период 0 ₽», «ручной замер 5 600 ₽», «первый этап 20–25 % проекта», «расчёт 0 ₽», и шестая ветка «Пилот — 111 800 ₽, 4 недели». Чертёжный стиль, подписи по-русски.
Признаки пилота, который продают вместо ответа
Четыре признака, по которым видно, что перед вами не проверка гипотезы, а этап продажи или способ отложить решение.
- Выборку формирует подрядчик. Материал для проверки должен отбирать заказчик, причём случайно, а не «самые показательные». Если выборку собирает исполнитель, вы измеряете его умение выбирать документы, а не работу системы.
- Порог не назван до старта. Без зафиксированного числа любой результат объявляется успешным: 68 % превращаются в «уверенный старт, дальше будет лучше». Порог пишется в договоре на пилот, а не обсуждается по факту.
- Материалы уходят вместе с исполнителем. Спросите заранее: останутся ли у вас размеченная выборка, отчёт с числами и перечень выявленных рисков, если вы решите не продолжать. Отрицательный ответ означает, что вы платите за презентацию.
- Пилот бесплатный. Бесплатная проверка устроена так, чтобы закончиться выводом «работает». Это не обман — это нормальная логика пресейла, просто не надо путать её с проверкой гипотезы и принимать по ней решение о бюджете в миллион.
Когда отказ от пилота выходит дороже
Эта статья про экономию, но у экономии есть цена, и о ней честнее сказать прямо. Три случая, когда отказ от проверки обходится дороже самой проверки.
- Вы уверены в качестве данных, потому что никогда его не измеряли. Уверенность «у нас всё в порядке со справочниками» — самая дорогая из возможных. Проверяется за два часа: возьмите сто карточек и посчитайте, в скольких заполнены все поля, нужные новой системе. Если меньше восьмидесяти, проверка нужна, а начинать стоит с качества данных.
- Решение принимает один человек, и это не он будет с ним работать. Пилот в такой конфигурации выполняет вторую функцию — переносит решение из области мнения в область числа. Это не про технологию, а про то, что через полгода никто не скажет «я был против».
- Подрядчик новый, и вы не знаете, как он работает. Небольшой платный первый этап здесь дешевле любого отзыва: за четыре недели видно, как исполнитель ведёт переписку, признаёт ли ошибки и что показывает при плохом результате. На проекте в несколько миллионов это самая дешёвая проверка из всех возможных.
Общее правило по итогам: пилот — не ритуал осторожности и не признак серьёзного подхода, а инструмент с ценой. Если он покупает информацию, которую нельзя получить дешевле, он оправдан при любом бюджете. Если он покупает время до принятия решения, дешевле принять решение.
Пилот, после которого вы поступите одинаково при любом исходе, — это не проверка, а отсрочка ценой в месяц.
