Проекты генерации контента ломаются одинаково. Не потому, что модель плохая — модели за последние два года стали заметно ровнее, — а потому, что повторяются одни и те же семь решений на старте. Все семь дают проекту прожить первые две недели без видимых проблем и проявляются на третьей, когда переделывать уже дорого.

Ниже — разбор каждой: ранний признак, по которому её видно до того, как накопится ущерб, цена в часах редактора и рублях и способ исправления, который не требует переделки проекта целиком. Расчёты идут по полной стоимости часа редактора 900 ₽ и модели интернет-магазина со средним чеком 4 800 ₽ и маржой 30 %, то есть 1 440 ₽ маржи с заказа и 1 400 ₽ обратной логистики на возврат.

Сразу оговорка, без которой список читается неправильно. Ни одна из семи ошибок не решается сменой модели или подрядчика. Все семь — про то, как устроен процесс вокруг генерации, и чинятся внутри компании.

Семь ошибок: ранний признак и цена

Таблица ниже — рабочий чек-лист второй недели. Если хотя бы три строки про вас, проект уже идёт не туда, и разбираться надо сейчас, а не по итогам квартала.

ОшибкаРанний признакЦена
1. Факты генерируются, а не подставляютсяРедактор находит несуществующую характеристику на первых десяти карточках181 320 ₽ на один неверный атрибут в 1 000 карточках
2. Эффект меряют в знакахВ отчёте есть знаки и объём, нет часов редактора на партию45 000 ₽ убытка вместо 135 000 ₽ экономии на 1 000 карточек
3. Единый шаблон на весь каталог и все площадкиДоля отклонений модерации выше 10 %12 600 ₽ и девять дней задержки на партии в 500 карточек
4. Нет владельца процессаНа вопрос «кто правит шаблон» называют должность, а не фамилию24 часа редактора в месяц дополнительно, 21 600 ₽
5. Редактора убрали, а не переложили его работуДоля материалов, уходящих без правок, падает второй месяц подрядСписание разовых вложений: 138 000 ₽ и возврат к ручной работе
6. Одинаковый тон и структура во всех материалахДва разных материала компании невозможно отличить друг от другаОтписки с 0,3 % до 0,9 % на выпуск: 7,2 % базы за год
7. Запуск без замера базовой линииНа вопрос «сколько было до» никто не отвечает числомЭффект недоказуем, решение о продлении принимается вслепую
этапыoshibki-avtomatizacii-kontenta--01
Лента времени первых трёх месяцев проекта с точками проявления семи ошибок

Горизонтальная лента времени от дня 1 до дня 90 с делениями «день 3», «день 7», «вторая неделя», «месяц», «квартал». На ленте семь отметок с номерами ошибок: 1 — день 3, 3 — день 7, 2 и 4 — вторая неделя, 6 — месяц, 5 и 7 — квартал. Под каждой отметкой короткая подпись признака. Отдельной пунктирной вертикалью отмечена «граница дешёвого исправления» на четырнадцатом дне. Чертёжный стиль, подписи по-русски.

Шесть ошибок из семи видны на второй неделе — если знать, куда смотреть

Ошибка 1. Факты генерируются, а не подставляются

Модель не знает, из чего сделан ваш товар. Она знает, из чего обычно делают такие товары, и напишет самое правдоподобное — уверенно, в нужном формате и без единого признака сомнения. Пока проверяют по одной карточке, это выглядит мелкой неточностью. Как только шаблон запущен на партию, одна и та же неточность оказывается в каждой карточке товарной группы.

Один неверный атрибут в 1 000 карточках
Карточек с ошибочной характеристикой1 000
Из них реально продаются400
Заказов в месяц: 400 × 2800
Прирост возвратов «не соответствует описанию»: 4 п. п.32 возврата в месяц
Цена возврата: 1 440 ₽ маржи + 1 400 ₽ обратной логистики2 840 ₽
Возвраты за полтора месяца до обнаружения: 32 × 1,5 × 2 840 ₽136 320 ₽
Переделка 1 000 карточек: 3 минуты каждая = 50 часов × 900 ₽45 000 ₽
Итого181 320 ₽ за одну строку в шаблоне. Полтора месяца — не пессимистичная оценка, а обычный срок: возвраты приходят через две-три недели после заказа, и статистика по причине набирается ещё столько же.

Исправление стоит дёшево и делается один раз: атрибуты, попадающие в текст, помечаются как подставляемые из справочника, и шаблон перестаёт компилироваться, если поле пустое. Пустое поле — это остановка выпуска, а не место, куда модель допишет правдоподобное. Разделение текста на подставляемые факты и генерируемые связки разобрано в опорной статье кластера, а стоимость самого справочника — в расчёте бюджета на автоматизацию контента.

Ошибка 2. Эффект меряют в знаках, а не в часах редактора

Это ошибка отчётности, и она опаснее технических, потому что делает провал неотличимым от успеха. Отчёт «за квартал сгенерировано 2,7 млн знаков» невозможно оспорить и невозможно применить: он не отвечает на вопрос, стало ли работы меньше. В таблице ниже — три способа выпустить одну и ту же партию карточек. Считается только текстовая часть работы: сбор данных, написание и вычитка, без фотографий и публикации.

Схема на партии 1 000 карточекЗнаков на выходеЧасов редактораДеньги при 900 ₽/час
Полностью вручную≈ 900 000200180 000 ₽
Модель пишет всё, редактор честно вычитывает≈ 900 000250225 000 ₽
Гибридная схема: факты из справочника, связки от модели≈ 900 0005045 000 ₽

В знаках все три строки одинаковы. В часах разброс пятикратный, а средняя строка — та самая, которую отчёт по знакам объявит успехом, — на 45 000 ₽ дороже ручной работы. Причина простая: вычитка чужого текста, в котором факты могут быть выдуманы, занимает больше времени, чем написание своего, где автор точно знает, откуда взял цифру.

графикoshibki-avtomatizacii-kontenta--02
Три столбца часов редактора на партию 1000 карточек: 200, 250 и 50

Столбчатая диаграмма, три столбца, ось Y — часы редактора на партию 1 000 карточек. «Вручную» — 200 часов, подпись «180 000 ₽». «Модель пишет всё» — 250 часов, подпись «225 000 ₽», выделен как самый высокий. «Гибридная схема» — 50 часов, подпись «45 000 ₽». Над всеми тремя столбцами одна общая горизонтальная плашка «≈ 900 000 знаков — одинаково у всех трёх». Внизу подпись «ставка редактора 900 ₽/час». Чертёжный стиль, подписи по-русски.

Одинаковый объём знаков и пятикратная разница в часах

Ошибки 3 и 4: один шаблон на всё и никто им не владеет

Эти две ходят парой, потому что вторая мешает заметить первую. Единый шаблон на весь каталог и на все площадки экономит неделю на внедрении и потом отдаёт её каждый месяц: у разных товарных групп разные обязательные характеристики, у разных площадок — разные лимиты полей и разные запрещённые формулировки.

  • Цена единого шаблона. На партии в 500 карточек он даёт около 18 % отклонений модерации — 90 позиций. Переделка одной отклонённой карточки — 12 минут, итого 18 часов и 16 200 ₽. Раздельные шаблоны по площадкам держат отклонения в районе 4 %: 20 позиций, 4 часа, 3 600 ₽. Разница — 12 600 ₽ на партию и девять дней задержки выхода: очередь на правку плюс повторный цикл модерации по 90 позициям вместо 20.
  • Цена отсутствия владельца. Шаблон стареет: появляются новые товарные группы, площадки меняют требования, справочник пополняется. Без человека, который правит шаблон, доля материалов с правками растёт с 35 % до 70 % за квартал. На потоке в 500 материалов в месяц и восьми минутах на правку это рост с 23 до 47 часов — 24 дополнительных часа, или 21 600 ₽ в месяц.
  • Признак, по которому обе видны сразу. Спросите, кто правит шаблон. Если в ответ называют отдел или должность, а не фамилию, владельца нет. Четыре часа в месяц одного редактора закрывают эту дыру полностью — это 3 600 ₽ против 21 600 ₽ потерь.

Ошибка 5. Редактора убрали вместо того, чтобы переложить его работу

Проект продают как замену человека, и через два месяца после запуска штатная единица закрывается. Дальше происходит предсказуемое: шаблон никто не правит (ошибка 4), факты никто не сверяет (ошибка 1), доля материалов без правок падает второй месяц подряд, а качество проверяет площадка на модерации. Ещё через квартал работа возвращается к ручной, но уже без человека, который знал ассортимент.

Правильная рамка: генерация не убирает редактора, а меняет то, на что уходят его часы. Из тридцати минут на материал написание занимало восемь-девять, и именно они снимаются; на подготовку данных, проверку фактов и правку шаблона часы, наоборот, добавляются. Хронометраж по операциям — в статье про часы редактора на карточках товаров. Если после внедрения у редактора освободилось время, его надо тратить не на увольнение, а на справочник: он и есть узкое место всей схемы.

Ошибка 6. Одинаковый тон: где машинный контент прямо вредит

Первые пять ошибок стоят денег внутри компании. Шестая стоит снаружи, и её цену труднее увидеть в отчёте. Когда все материалы собираются одним шаблоном, они начинают отличаться друг от друга только подставленными фактами. Карточка, письмо и ответ на отзыв написаны одним голосом с одинаковыми переходами. Читатель это замечает не аналитически — он просто перестаёт читать.

Измеримое проявление — рассылка. На базе в 20 000 адресов отписки с типового генерируемого выпуска идут на уровне 0,9 % против 0,3 % у выпусков, написанных редактором: 180 адресов за выпуск вместо 60. За двенадцать выпусков это 1 440 адресов, 7,2 % базы в год, которые не вернутся. При конверсии базы в заказ около 1 % и марже 1 440 ₽ это ещё и 14 несостоявшихся заказов, то есть 20 160 ₽ прямых потерь — но главная потеря в том, что охват сузился навсегда, а собирать базу дороже, чем её терять.

Есть материалы, где генерация вредит независимо от качества шаблона

Экспертный текст, извинение после инцидента, условия гарантии, разговор в узкой профессиональной нише — здесь машинный черновик даёт краткосрочную экономию и долгосрочный убыток, потому что читатель проверяет вас именно по деталям, которых в черновике нет. Пять таких случаев с признаками, по которым они распознаются заранее, разобраны отдельно: когда генерация вредит бренду.

Ошибка 7. Запуск без замера базовой линии

Последняя по списку и первая по частоте. Проект запускают, не записав, как было. Через квартал возникает спор: маркетинг говорит «стало быстрее», финансовый директор спрашивает «на сколько», и ответить нечем. Дальше решение о продлении принимается по ощущениям, а любой следующий проект автоматизации в этой компании защищать становится труднее.

  1. 1
    Часы редактора на партию

    Возьмите последние 50 материалов и посчитайте фактическое время по операциям — не по ощущениям, а по отметкам в задачах. Это единственное число, в котором меряется эффект. Общая методика замера эффекта разобрана в статье про то, как измерить эффект автоматизации.

  2. 2
    Доля материалов, ушедших в публикацию без правок

    Считается на контрольной партии из ста. Ниже 40 % — шаблон не попадает в задачу. Это же число разумно записывать в приёмку договора: оно проверяемо, в отличие от формулировки «система генерирует тексты».

  3. 3
    Доля отклонений модерации

    По каждой площадке отдельно. Замеряется до запуска, иначе рост отклонений после внедрения будет списан на «площадка ужесточила требования», и проверить это будет нечем.

  4. 4
    Срок от готовности товара до публикации карточки

    Вторая половина эффекта, которую обычно не считают: генерация ускоряет не только работу, но и вывод новинок. Замерьте медиану по последним тридцати позициям — среднее здесь врёт из-за долгих хвостов.

схема процессаoshibki-avtomatizacii-kontenta--03
Четыре метрики базовой линии и точки их замера до и после запуска

Схема из двух вертикальных колонок «До запуска» и «Через квартал», соединённых четырьмя горизонтальными стрелками. На стрелках подписи метрик: «часы редактора на партию 50 материалов», «доля материалов без правок, контрольная партия 100», «доля отклонений модерации по каждой площадке», «медиана срока от готовности товара до публикации, 30 позиций». Слева от первой колонки блок «замер занимает один день». Справа блок «разговор с финансовым директором». Чертёжный стиль, подписи по-русски.

Четыре числа, записанные до старта, — единственная защита проекта через квартал

Что чинить первым, если проект уже буксует

Порядок важен: три из семи ошибок чинятся за неделю и снимают большую часть ущерба, остальные требуют переделки шаблонов и решаются следующим кварталом.

  1. 1Неделя первая — остановите генерацию фактов. Составьте список атрибутов, попадающих в текст, и запретите шаблону собирать материал при пустом поле. Это чинит первую ошибку, самую дорогую, и не требует ничего, кроме двух часов работы над шаблоном.
  2. 2Неделя первая — назначьте фамилию. Владелец шаблона с четырьмя часами в месяц в плане работ. Без этого остальные исправления развалятся за квартал.
  3. 3Неделя вторая — замерьте четыре числа. Даже задним числом: по последним пятидесяти материалам восстанавливается всё, кроме «как было до запуска». Хотя бы получите точку отсчёта для следующего квартала.
  4. 4Месяц второй — разведите шаблоны по площадкам и товарным группам. Начните с той группы, где больше всего отклонений: обычно на неё приходится половина всех переделок.
  5. 5Месяц второй — верните редактору часы, а не должность. Часы, освободившиеся от написания, переложите на справочник. Если справочника нет, вся схема держится на удаче.

И честный вариант, который тоже бывает правильным: проект стоит не чинить, а останавливать. Если у вас меньше 1 100 материалов в год, ежемесячная часть съедает всю экономию при любом качестве шаблона — арифметика этого порога разобрана в расчёте стоимости автоматизации контента. Если справочника характеристик нет и делать его никто не собирается, чинить нечего: без источника фактов гибридная схема невозможна, а любая другая упирается в первую ошибку из этого списка. В обоих случаях остановка — не поражение, а экономия 126 000 ₽ в год на ежемесячной части.