Для запуска видеоаналитики нужны четыре вещи, и обученной модели среди них нет. Нужна стабильная съёмка: камера с достаточным разрешением на признак дефекта, жёстко закреплённая и снимающая один и тот же ракурс сегодня и через полгода. Нужен собственный свет, не зависящий от окна и от того, какую лампу вкрутил энергетик. Нужны размеченные примеры — сотни или тысячи кадров, про каждый из которых человек сказал, что на нём. И нужен человек, который письменно сформулирует, что считать дефектом, а что допуском.
Почти все провалившиеся проекты зрения провалились в первых двух пунктах, а не в третьем. Блик на металле, дрожащий от вибрации кронштейн, встречное окно, из-за которого летом кадр засвечен, а зимой тёмный, дешёвая камера с прокатным затвором, скашивающая движущееся изделие. Модель при этом обучается и даже показывает приличные числа на тестовой выборке — просто в цехе эти числа не воспроизводятся.
Хорошая новость в том, что почти всё из списка проверяется за один выход на объект с рулеткой, люксметром и обычным фотоаппаратом. Ниже — конкретные требования с арифметикой, которую можно пересчитать самому, честные ориентиры по числу примеров, разбор того, кто размечает и почём, и чек-лист из двенадцати пунктов, который закрывает вопрос «браться или нет» за один день.
Камера: разрешение считается от размера дефекта
Мегапиксели ничего не говорят о пригодности камеры. Значение имеет одна величина: сколько миллиметров изделия приходится на один пиксель кадра. Считается она в одно действие — ширина зоны контроля делится на число пикселей камеры по этой же стороне.
Ширина поля зрения, делённая на разрешение камеры по горизонтали. Зона 400 мм и камера Full HD в 1920 пикселей дают 0,208 мм на пиксель. Дальше размер дефекта делится на эту величину — и получается число пикселей, которыми признак виден модели.
Дефект длиной 0,5 мм при 0,208 мм на пиксель занимает 2,4 пикселя. Человек на большом мониторе такую отметину найдёт — он подсознательно достраивает картину и знает, где искать. Модель на этих двух пикселях не различает дефект и шум сенсора. Отсюда практические пороги: для ответа «есть или нет» признаку нужно 4–5 пикселей, для уверенной детекции с рамкой — 8–10, для различения типа дефекта — 15–20.
| Задача | Пикселей на признак | Поле зрения при камере 4K, 3840 пикселей | Миллиметров на пиксель |
|---|---|---|---|
| Есть деталь или нет, крупный объект | 20–40 на объект | Любое, годятся и обычные камеры наблюдения | — |
| Дефект 0,5 мм: есть или нет | 4–5 | 400 мм | 0,104 |
| Дефект 0,5 мм: детекция с рамкой | 8–10 | 200 мм | 0,052 |
| Дефект 0,5 мм: различение типа | 15–20 | 100 мм | 0,026 |
Из таблицы следует неприятное, но полезное правило: разрешение обычно упирается не в камеру, а в геометрию. Чтобы уверенно детектировать признак в полмиллиметра, поле зрения приходится сужать до 200 мм, и если лента шире, ставят две-три камеры вместо одной или организуют проход изделий по узкой дорожке. Это дешевле, чем гнаться за камерой в 20 мегапикселей: цена оптики и вычислителя растёт быстрее, чем разрешение.
Схема из трёх горизонтальных полос-кадров одинаковой высоты. Каждая подписана полем зрения и результатом: «400 мм → 0,104 мм на пиксель → дефект 0,5 мм занимает 4,8 пикселя → хватает на ответ есть/нет», «200 мм → 0,052 → 9,6 пикселя → хватает на детекцию с рамкой», «100 мм → 0,026 → 19 пикселей → хватает на различение типа». Внутри каждой полосы нарисован увеличенный квадратик пикселей с чёрточкой дефекта соответствующей длины. Сверху пометка «камера 4K, 3840 пикселей по ширине». Внизу отбивка «Full HD при 400 мм: 0,208 мм на пиксель, всего 2,4 пикселя — не годится». Чертёжный стиль, подписи по-русски.
Скорость линии: кадры, выдержка и крепление
Второй блок требований задаёт не дефект, а движение. Возьмём рабочий пример из предыдущего раздела: поле зрения 200 мм, лента идёт 0,5 м/с. Изделие проходит кадр за 0,4 секунды, значит, чтобы гарантированно попасть в два кадра, хватило бы 5 кадров в секунду. На практике берут 20–30: запас нужен на то, чтобы в кадре нашлось хотя бы одно положение изделия без перекрытия и без частичного захода за край.
Куда важнее выдержка. На скорости 0,5 м/с за одну тысячную секунды изделие проходит 0,5 миллиметра — ровно размер искомого дефекта. Признак размазывается в полосу и перестаёт отличаться от фона. Рабочая выдержка здесь — одна десятитысячная секунды: смаз падает до 0,05 мм, то есть до одного пикселя. Но выдержка короче в десять раз означает, что света нужно в десять раз больше, и именно отсюда растёт вся история с подсветкой в следующем разделе.
- Глобальный затвор вместо прокатного. Дешёвые сенсоры считывают кадр строками, и на движущемся изделии верх кадра снят раньше низа. На 0,5 м/с при типичных 15 мс считывания изделие «уезжает» на 7,5 мм — прямая линия становится наклонной, и модель учится на этом искажении вместо дефекта.
- Крепление от пола или от капитальной стены, а не от ограждения линии. Вибрация амплитудой 0,2 мм при 0,052 мм на пиксель — это сдвиг кадра на 3,8 пикселя, то есть половина полезного признака.
- Фиксированный объектив без автофокуса и без трансфокатора. Любое подвижное звено рано или поздно уедет, а вместе с ним уедет и качество, причём молча.
- Кожух и защита оптики. Масляный туман, пыль и брызги за месяц роняют контраст настолько, что мелкий дефект перестаёт отличаться от шума. Чистка объектива — строка регламента, а не разовое действие.
- Синхронизация с датчиком присутствия или энкодером ленты. Кадр берётся не «просто так двадцать раз в секунду», а в момент, когда изделие в нужном положении. Это резко сокращает и объём данных, и число спорных кадров.
Свет — половина проекта
В цехе обычно 200–500 люкс, и этого хватает человеку. Для выдержки в одну десятитысячную секунды в зоне контроля нужно 3 000–10 000 люкс, и взять их можно только из собственной подсветки, поставленной под задачу. Дневной свет из окна и общий цеховой светильник для контроля не годятся вообще: они меняются в течение дня, по сезонам и после каждого визита службы главного энергетика.
Схема подсветки выбирается под тип дефекта, и выбор здесь важнее выбора камеры. Одна и та же царапина при верхнем рассеянном свете не видна вовсе, а при боковом тёмнопольном освещении светится белой чертой на чёрном фоне.
| Схема подсветки | Что берёт | Где не работает | Порядок цены на точку |
|---|---|---|---|
| Рассеянный купол сверху | Блестящий металл, полированная и глянцевая поверхность без бликов | Мелкий рельеф и неглубокие риски | 45 000–120 000 ₽ |
| Боковая и тёмнопольная | Царапины, сколы, риски, любой рельеф и нарушение кромки | Плоский цветовой дефект без рельефа | 18 000–60 000 ₽ |
| Задняя, на просвет | Контур и геометрия, уровень наполнения, посторонний предмет в прозрачной таре | Дефекты поверхности | 22 000–70 000 ₽ |
| Поляризационные фильтры | Плёнка, стекло, глянцевая упаковка — снимает зеркальный блик | Тёмные матовые поверхности: света и так мало | +15 000–40 000 ₽ к любой схеме |
Другая цветовая температура или другой угол падения света меняет распределение яркости на кадре, и модель начинает ошибаться, продолжая выдавать уверенные числа. Самая частая причина внезапной деградации — плановая замена ламп, о которой никто не сообщил. Практическое решение: точка контроля закрывается кожухом от внешнего света, а в регламент планово-предупредительных работ вносится пункт «замена светильников в зоне контроля согласовывается».
Сравнение в четыре колонки, в каждой — схематичный разрез: изделие, источник света и камера, стрелками показан ход лучей. Колонки: «Рассеянный купол — блестящий металл, 45 000–120 000 ₽», «Боковая и тёмнопольная — царапины и сколы, 18 000–60 000 ₽», «Задняя, на просвет — контур и уровень наполнения, 22 000–70 000 ₽», «Поляризация — плёнка и стекло, +15 000–40 000 ₽». Под каждой колонкой миниатюра одного и того же изделия с царапиной: в первой она почти не видна, во второй — яркая белая черта. Внизу отбивка: «в зоне контроля нужно 3 000–10 000 лк против цеховых 200–500 лк». Чертёжный стиль, подписи по-русски.
Сколько нужно размеченных примеров
Единственно верного числа не существует, но ориентиры устойчивые. Они зависят от типа задачи, а вовсе не от «сложности нейросети», и разброс между типами — почти на порядок по трудозатратам.
| Тип задачи | Дефектных примеров на класс | Годных примеров | Часов разметки на 1 000 кадров |
|---|---|---|---|
| Классификация кадра: годен или нет | 300–800 | 2 000–5 000 | 1,1 — метка одним нажатием, 4 секунды на кадр |
| Детекция: рамка вокруг дефекта | 500–2 000 | 2 000–5 000 | 11 — рамка и класс, 40 секунд на кадр |
| Сегментация: контур области, площадь, длина | 800–3 000 | 2 000–5 000 | 33–50 — обводка контура, 2–3 минуты на кадр |
Из последней колонки видно, где на самом деле лежат деньги. Годные кадры почти бесплатны, дорога только дефектная часть выборки — и именно её всегда не хватает. Поэтому правильный вопрос к подрядчику звучит не «сколько нужно кадров», а «сколько кадров с дефектом и какого типа разметка».
600 кадров, снятых за десять рабочих дней на обеих сменах, трёх партиях сырья и двух состояниях светильника, дадут лучший результат, чем 2 000 кадров одной смены и одной партии. Модель обобщает ровно то разнообразие, которое ей показали. Поэтому первым пунктом инструкции по сбору идёт не «наберите столько-то», а «снимайте не меньше десяти рабочих дней подряд и не выключайте камеру на переналадке».
Сколько календарного времени займёт сбор, зависит от доли брака и считается делением: чтобы набрать 800 дефектных кадров при доле брака 2 % на линии в 5 450 изделий в день, нужно семь рабочих дней, а при 0,5 % — двадцать девять. Подробный разбор этого дефицита и приёмов, которые его сокращают, — в материале про контроль качества и брак на производстве; здесь важно одно: срок сбора выборки планируется первым, потому что он единственный, который нельзя ускорить деньгами.
Горизонтальная столбчатая диаграмма из трёх полос, шкала в часах на 1 000 кадров: «Классификация: годен или нет — 1,1 часа, 4 секунды на кадр», «Детекция с рамкой — 11 часов, 40 секунд на кадр», «Сегментация контура — 33–50 часов, 2–3 минуты на кадр». Слева у каждой полосы подпись, сколько нужно дефектных примеров на класс: 300–800, 500–2 000, 800–3 000. Внизу отбивка: «годные кадры почти бесплатны — дорога дефектная часть выборки». Чертёжный стиль, подписи по-русски.
Кто размечает и сколько это стоит
Разметка делится на две части с разной судьбой. Первая — отбор кадров и письменная инструкция: что считать сколом, что допустимой шероховатостью, как поступать со спорным. Эта часть требует знания вашей продукции, и отдать её на сторону невозможно в принципе. Вторая — собственно труд разметки, и его отдать можно.
| Свой контролёр ОТК | Подрядчик по разметке | |
|---|---|---|
| Цена годного кадра | ≈0,6 ₽ — 4 секунды при ставке 540 ₽/час | 5–8 ₽ |
| Цена дефектного кадра с рамкой | ≈6 ₽ — 40 секунд при той же ставке | 45–60 ₽ |
| Срок на выборку в 4 800 кадров | Две недели, между сменами | Три рабочих дня |
| Спорные случаи | Разбирает сам, знает изделие | Размечает по инструкции, спорное возвращает |
| Что нельзя передать | — | Отбор кадров и инструкцию разметчику |
| Скрытый минус | Контролёр снят с линии на два дня | Без хорошей инструкции разметит неверно и незаметно |
В сквозном модельном расчёте, который мы приводили при разборе цепочки компьютерного зрения, разметка одного класса дефекта своими силами обошлась в 50 940 ₽, а через подрядчика — в 107 700 ₽. Разница вдвое, но в первом случае работа заняла две недели, а во втором три дня. Выбор между вариантами — это выбор между деньгами и сроком, и оба варианта нормальные. Ненормально только одно: не заложить эту строку в смету совсем.
Инструкция разметчику — отдельный документ на две-три страницы, и её пишут технолог с инженером вместе. Минимальный состав:
- 1Определение дефекта в измеримых величинах: «скол кромки длиной от 1,5 мм», а не «неровная кромка».
- 2Граница с допуском: что считается нормой и не размечается, с примерами кадров.
- 3Список классов дефектов с эталонным кадром на каждый и типичными ошибками распознавания.
- 4Правило для спорного кадра: помечать отдельно и не гадать, разбор с технологом раз в день.
- 5Правило для кадров с несколькими дефектами и с частично попавшим в кадр изделием.
- 6Что делать с кадрами, где дефект есть, но не виден: не размечать и вынести в отдельную папку.
- 7Формат: какая рамка, по внешней границе дефекта или с запасом, и что делать с размытыми краями.
Две недели подготовки своими силами до договора
Самое выгодное вложение в проект зрения делается до подписания договора. Две недели съёмки на временную камеру закрывают главный риск — выяснить на четвёртой неделе оплаченного пилота, что дефект при вашем свете не виден. Считаем, во что это обходится.
Что снимать обязательно, чтобы эти две недели не пропали:
- Обе смены целиком, включая ночную. Свет и темп работы к утру другие, и модель должна увидеть оба состояния.
- Минимум три разные партии сырья. Это самая частая причина, по которой рабочая модель перестаёт работать через три месяца.
- Переналадку и первые изделия после неё. На них дефектов больше всего, и именно они интереснее всего технологу.
- Все дефектные изделия физически — в коробку с ярлыком «дата, смена, партия, тип». Одно отложенное изделие потом даёт 15–30 кадров при пересъёмке в контролируемых условиях.
- Кадры при двух состояниях освещения: с включённой временной подсветкой и без неё. Разница на кадрах и будет главным аргументом за отдельный свет.
- Заведомо годные эталонные изделия каждого типоразмера — они пригодятся и при обучении, и потом при ежеквартальной проверке качества.
Горизонтальная столбчатая диаграмма из шести полос, сумма 76 682 ₽: «Временная камера и штатив — 24 000 ₽», «Отбор и сортировка кадров, 8 часов инженера — 20 000 ₽», «Письменный критерий дефекта, 6 часов технолога — 15 000 ₽», «Прожектор с рассеивателем — 9 500 ₽», «Монтаж и питание — 6 400 ₽», «Коробка образцов — 1 782 ₽». Справа узкая полоса-сравнение «смета пилота 905 940 ₽» с подписью «подготовка — 8,5 % от неё». Чертёжный стиль, подписи по-русски.
Чек-лист выхода на объект: 12 пунктов за один день
Этот список проверяется за один рабочий день с рулеткой, люксметром и фотоаппаратом. Если больше двух пунктов закрыть не удаётся, проект пока не готов — и это лучше узнать сейчас, а не после оплаты первого этапа.
- 1Минимальный размер признака измерен штангенциркулем и записан в миллиметрах, а не описан словами.
- 2Ширина зоны контроля измерена, миллиметры на пиксель посчитаны, число пикселей на признак получено.
- 3Скорость потока измерена в метрах в секунду или в изделиях в минуту — по секундомеру, а не по паспорту линии.
- 4Освещённость в точке замерена трижды: утренняя смена, ночная смена и в солнечный день при открытых воротах.
- 5Найдено место для камеры и подсветки, до которого не дотягиваются погрузчик, оператор и шланг мойки.
- 6Найдена опора для кронштейна от пола или капитальной стены, не от ограждения линии.
- 7Есть розетка и трасса для сети до места, где встанет вычислитель, — либо посчитана стоимость их прокладки.
- 8Изделие в точке контроля ориентировано одинаково; если нет, найден способ его ориентировать.
- 9Технолог согласился письменно сформулировать критерий дефекта и назвал срок.
- 10Известна доля брака по этому дефекту за последние 12 месяцев — хотя бы приблизительно, по журналу.
- 11Есть физические образцы брака или назначен ответственный за коробку образцов с первого дня.
- 12Определено, что произойдёт после сигнала: кто снимает изделие, кто останавливает линию, куда попадает событие.
Двенадцатый пункт важнее первых одиннадцати. Если на сигнал никто не реагирует, остальное можно не проверять.
Схема-чек-лист: четыре вертикальных блока с квадратами для отметки. Блок «Съёмка» — размер признака в мм, ширина зоны, миллиметров на пиксель, скорость потока. Блок «Свет и монтаж» — три замера освещённости, место для камеры, опора от пола, питание и сеть. Блок «Данные» — доля брака за 12 месяцев, образцы брака, критерий дефекта от технолога. Блок «Организация» — ориентация изделия, действие после сигнала. Последний квадрат «что произойдёт после сигнала» выделен и подписан «важнее остальных одиннадцати». Чертёжный стиль, подписи по-русски.
Когда список не сходится и запускать не надо
Четыре ситуации, в которых мы советуем не начинать проект, а сначала поменять условия. Все они выясняются в тот же день на объекте, и все они дешевле исправить до договора.
- Камеру некуда закрепить жёстко. Нет опоры от пола, единственное место — на ограждении линии, которое вибрирует и которое снимают на каждой переналадке. Вибрация в 0,2 мм съедает половину полезного признака, и никакая модель это не компенсирует. Сначала кронштейн, потом проект.
- Свет нельзя стабилизировать. Открытые ворота с прямым солнцем, пар от мойки, сварочная дуга в поле зрения, густая пыль. Пока условия съёмки плавают, вы будете платить за дообучение каждый сезон и никогда не выйдете на устойчивое качество.
- Никто не берётся письменно сформулировать критерий дефекта. Это не бюрократия: без критерия разметка получится противоречивой, а приёмка станет спором о вкусах. Если технолог говорит «ну, тут по опыту видно» и отказывается это записать, проект стоит отложить.
- Примеров брака нет и не будет в разумный срок. При доле брака ниже полупроцента набрать 800 дефектных кадров — это полтора месяца непрерывной съёмки. Иногда правильный ответ здесь не «подождать», а «разобрать причины брака по журналу за прошлый год» — это дешевле и часто даёт больше.
Ни один из этих четырёх пунктов не является приговором. Кронштейн варится за день, кожух от солнца стоит десятки тысяч рублей, критерий дефекта пишется за шесть часов, а сбор выборки запускается своими силами хоть с завтрашней смены. Плохо не то, что условия не готовы, — плохо, когда об этом узнают на четвёртой неделе оплаченного проекта.
