Отзывы конкурентов — самый дешёвый источник продуктовых решений, который есть у компании: чужие клиенты бесплатно и публично описывают, что именно им не подошло. Проблема не в доступности данных, а в способе их читать. Обычно маркетолог открывает карточку конкурента, пролистывает два экрана, находит три эмоциональных отзыва и приносит на планёрку вывод «у них жалуются на доставку». Через месяц другой сотрудник открывает ту же карточку и приносит другой вывод.
Разница между этими двумя разговорами и исследованием — в четырёх вещах: заданный размер выборки, один классификатор тем на всех участников сравнения, посчитанные частоты и явный переход от частоты к решению. Всё остальное — чтение по диагонали, которое подтверждает то, во что маркетолог верил до начала работы.
Ниже — процедура целиком: где брать выборку и что при этом ограничивают площадки, сколько отзывов достаточно, как считать частоты, что искать в первую очередь, во что обходится одно исследование в часах редактора и почему выводы из отзывов нельзя напрямую переводить в проценты заказов.
Откуда берётся выборка и что можно собирать
Источники делятся не по популярности, а по тому, чей это кабинет. Там, где вы владелец карточки, есть API и выгрузка. Там, где владелец — конкурент, остаётся только публичная страница, и её автоматический сбор площадки ограничивают правилами пользования. Это не юридическая тонкость, а методическая: часть выборки вы соберёте машиной, а часть придётся собирать руками, и размер ручной части определяет стоимость всего исследования.
| Источник | Что там есть | Как забирать | Что это меняет |
|---|---|---|---|
| Маркетплейсы: карточки конкурентов | Оценка, текст, дата, иногда фото и ответ продавца | Публичная страница, автоматический сбор ограничен правилами площадки | Основная ручная часть работы; закладывайте её в часы |
| Маркетплейсы: свои карточки | То же плюс привязка к заказу и артикулу | Официальный API кабинета продавца | Своя половина выборки собирается почти бесплатно |
| Карты и справочники организаций | Оценка, текст, дата, ответ компании | Публичная страница; свою карточку — из кабинета владельца | Хорошо работает для услуг и локального бизнеса |
| Отзовики и агрегаторы | Длинные тексты, часто с описанием ситуации целиком | Публичная страница | Мало по объёму, но полезно для формулировок клиента |
| Форумы и тематические сообщества | Обсуждение выбора между вами и конкурентом | Публичная страница, поиск по названию | Единственное место, где виден момент выбора, а не итог |
Практический вывод: не стройте методику на предположении, что чужие отзывы будут выгружены пачкой. Она должна работать на выборке, собранной вручную, а машинная часть применяется там, где вы владелец кабинета. Сбор и разбор собственных отзывов — отдельная тема, разобранная в статье про конвейер работы с отзывами; здесь речь только о чужих, и это меняет всю экономику: анализ конкурентов почти целиком состоит из ручных часов.
Сколько отзывов нужно на конкурента
Ответ зависит от того, что вы собираетесь с частотами делать. Если вопрос звучит «есть ли у конкурента вообще проблема с размерной сеткой» — хватит и полусотни отзывов. Если вопрос звучит «какая тема у него на первом месте, а какая на третьем» — нужна выборка, на которой порядок тем не меняется от случайности попадания. Именно на этом ломается привычная сотня отзывов.
Считается это одной формулой. Для темы, которая на самом деле встречается в 15 % отзывов, разброс частоты на выборке размера n составляет примерно 1,96 × √(0,15 × 0,85 ⁄ n). Подставьте свои n — получите таблицу ниже.
| Отзывов на конкурента | Разброс частоты темы с долей 15 % | Что на этом можно решать |
|---|---|---|
| 100 | ±7,0 п. п. — от 8 % до 22 % | Видно только очень крупные темы. Порядок мест бессмысленен |
| 200 | ±4,9 п. п. — от 10 % до 20 % | Первое место обычно устойчиво, остальные меняются |
| 400 | ±3,5 п. п. — от 11,5 % до 18,5 % | Порядок топ-5 тем стабилен между выборками |
| 800 | ±2,5 п. п. — от 12,5 % до 17,5 % | Можно сравнивать двух конкурентов по одной теме |
Столбчатая диаграмма с усами погрешности. Четыре столбца одинаковой высоты 15 %, подписи под ними: 100, 200, 400, 800 отзывов. Усы: ±7,0 п. п., ±4,9 п. п., ±3,5 п. п., ±2,5 п. п. Пунктиром отмечен коридор от 11,5 % до 18,5 % с подписью «порядок топ-5 устойчив». Ось Y — доля отзывов с темой, в процентах. Чертёжный стиль, подписи по-русски.
Рабочая цифра для сравнения нескольких компаний — 400 отзывов на каждого участника, включая себя. Берите их подряд от свежих к старым, а не выборочно: любой отбор «интересных» отзывов ломает частоты сильнее, чем маленькая выборка. Если у конкурента отзывов меньше четырёхсот, берите все и честно пишите в отчёте фактический размер выборки рядом с каждой частотой.
Восемьсот отзывов за три года хуже четырёхсот за последние шесть месяцев. Поставщик, упаковка и логистика у конкурента за три года менялись, и старые отзывы описывают компанию, которой уже нет. Фиксируйте окно дат и держите его одинаковым для всех участников сравнения.
Один классификатор на себя и на конкурентов
Сравнение имеет смысл только тогда, когда чужие и свои отзывы размечены одним списком тем. Иначе выходит типичная картина: свои отзывы разобраны подробно, на пятнадцать причин, а чужие — на три общие, и конкурент выглядит благополучнее просто потому, что его читали грубее.
- 1Соберите список тем на 300 отзывах
Возьмите по 100 отзывов у себя и двух конкурентов, прочитайте подряд и выпишите причины. Список стабилизируется примерно на 12–15 темах: дальше новые отзывы почти не приносят новых причин. Это работа редактора на 4 часа вместе с экспертом по продукту.
- 2Сделайте темы взаимоисключающими
«Долгая доставка» и «товар пришёл позже обещанного» — одна тема, а не две. «Повреждена упаковка» и «повреждён товар» — разные, потому что ведут к разным решениям. Каждая формулировка должна отвечать на вопрос «что мы поменяем, если она окажется наверху».
- 3Разрешите отзыву иметь несколько тем
Половина развёрнутых отзывов содержит две-три претензии сразу. Если заставлять размечать одной темой, частоты поедут в сторону первой названной. Сумма долей при этом превысит 100 % — это нормально, так и должно быть.
- 4Проверьте разметку на согласованность
Дайте 50 отзывов разметить двум людям независимо. Если совпадение ниже 80 %, темы сформулированы плохо, и никакие частоты считать ещё нельзя. Это полчаса работы, которые спасают весь остаток исследования.
Размечать 2 000 отзывов может и языковая модель — по тому же классификатору, в режиме «выбери из списка, ничего не добавляй». Но у машинной разметки есть системная особенность, которая портит именно частоты: модель охотно склеивает близкие темы в одну и охотно приписывает отзыву тему, которой в тексте нет, если она звучит правдоподобно для этой категории товара. На одном отзыве это мелочь, на выборке в две тысячи — сдвиг частот на несколько пунктов в предсказуемую сторону: редкие темы становятся ещё реже, а самая общая тема разрастается. Поэтому машинную разметку принимают только с выборочным контролем: 10 % отзывов редактор проверяет руками, и если расхождение больше 10 %, частоты считаются по ручной разметке.
Сравнительная таблица из трёх колонок с числами: «Мы», «Конкурент А», «Конкурент Б», по 400 отзывов в каждой. Строки и значения: «Не подошёл размер» 9 % / 21 % / 11 %; «Повреждена упаковка» 14 % / 6 % / 8 %; «Не совпало с фото» 7 % / 12 % / 5 %; «Долгая доставка» 11 % / 9 % / 19 %; «Нет инструкции, неполная комплектация» 4 % / 3 % / 13 %; «Хвалят подарочный вид» 6 % / 2 % / 3 %. Максимум в каждой строке выделен рамкой. Внизу подпись: «выборка 400 отзывов на участника, окно 6 месяцев». Чертёжный стиль, подписи по-русски.
Что искать в первую очередь и как это превращается в решение
Когда частоты посчитаны, полезны не все различия, а три типа. Остальное — фон, который приятно обсуждать и невозможно применить.
- Повторяющаяся причина возврата у конкурента. В примере выше это 21 % «не подошёл размер» у конкурента А против 9 % у нас. Такая тема означает, что покупатель принял решение по недостаточным данным на карточке, и это чинится текстом, а не производством.
- Ожидание, которое продавец создал сам. 12 % «не совпало с фото» у того же конкурента — это не претензия к товару, а претензия к обработанным снимкам. Тема ценна тем, что показывает границу: до какой степени приукрашивания покупатель ещё прощает.
- Жалоба на то, чего у вас нет. 13 % «нет инструкции, неполная комплектация» у конкурента Б при 4 % у нас — это готовое преимущество, о котором вы просто не рассказываете. Самый быстрый в применении тип находки: он ничего не меняет в товаре.
| Что нашли | Что меняем | Где именно | Как проверить через месяц |
|---|---|---|---|
| У конкурента 21 % «не подошёл размер», у нас 9 % | Правка карточки: таблица фактических замеров по трём точкам и фото на человеке с указанием роста | Свои карточки той же категории | Доля возвратов с причиной «размер» по своей статистике возвратов |
| У конкурента Б 13 % «нет инструкции» | Правка комплектации не нужна — нужна правка описания: вкладыш уже есть, о нём не написано | Блок «что в коробке» и второй слайд карточки | Доля обращений «как пользоваться» в поддержке |
| У конкурента Б 19 % «долгая доставка» при сопоставимых сроках | Правка скрипта продаж: срок называется в первом ответе и повторяется в подтверждении заказа | Скрипт менеджера и шаблон подтверждения | Доля обращений «где заказ» до плановой даты доставки |
Схема из четырёх колонок со стрелками слева направо. Первая колонка — «Частота темы в выборке 400». Вторая — три ветки: «Правка карточки», «Правка комплектации и описания», «Правка скрипта продаж». Третья — «Владелец правки» с пустыми полями для фамилии. Четвёртая — «Метрика проверки через 30 дней»: «возвраты по причине», «обращения в поддержку», «вопросы «где заказ»». Под схемой подпись: «частота в отзывах — не доля заказов, проверка идёт по своей статистике». Чертёжный стиль, подписи по-русски.
Сколько стоит одно исследование
Считаем по ставкам полной стоимости часа: редактор — 900 ₽, эксперт по продукту или коммерции — 2 000 ₽, инженер — 3 000 ₽. Объём — четыре конкурента и вы сами, по 400 отзывов, всего 2 000 отзывов. Сбор чужих отзывов ручной, свои выгружаются из кабинета.
Теперь конвейер. Инженер собирает сбор, нормализацию и машинную разметку по готовому классификатору — 16 часов × 3 000 ₽ = 48 000 ₽ разово. Один прогон после этого стоит 900 ₽ обращений к модели плюс работа редактора: выборочный контроль 10 % (200 отзывов × 30 секунд = 1,7 ч) и сведение выводов 6 ч, итого 7,7 ч × 900 ₽ = 6 930 ₽, плюс 3 часа эксперта — 6 000 ₽. Прогон обходится в 13 830 ₽ против 39 300 ₽ вручную, экономия 25 470 ₽.
Разделите: 48 000 ⁄ 25 470 = 1,9. Конвейер возвращает вложение на втором повторном прогоне. При квартальной периодичности это примерно полгода, при ежегодной — почти два года, а при разовом исследовании он не окупается никогда. Отсюда простое правило: первое исследование делайте руками, а решение о конвейере принимайте после того, как второй раз захотите его повторить.
Сбор с публичных страниц ломается при каждом изменении вёрстки площадки — на практике несколько раз в год. Это 2–4 часа инженера каждый раз, 6 000–12 000 ₽. В смету конвейера её надо класть сразу, иначе через полгода он тихо перестанет работать, а узнают об этом в момент, когда отчёт понадобится.
Чего в отзывах не видно и когда за них не стоит браться
Главное ограничение метода — смещение выборки. Отзывы пишут 3–8 % покупателей, и это преимущественно два края: те, кому испортили день, и те, кого попросил продавец. Молчаливое большинство, у которого всё прошло нормально, в выборке не представлено вообще. Из этого следуют три запрета.
- Не переводите частоту темы в долю заказов. 21 % отзывов о размере не означает, что размер не подошёл каждому пятому покупателю. Это означает, что среди написавших отзыв каждый пятый упомянул размер. Перевод в деньги делается только через собственную статистику возвратов: при обратной логистике порядка 1 400 ₽ за возврат считать надо от реального числа возвратов, а не от процента в отзывах.
- Не сравнивайте абсолютный уровень негатива у компаний с разной политикой сбора отзывов. Конкурент, который просит оставить отзыв после каждой доставки, получит более ровную картину при том же качестве. Сравнивать корректно структуру тем внутри негатива, а не долю негатива между компаниями.
- Не принимайте решение по одной теме, если она не подтверждается вторым источником. Обращения в поддержку, причины возвратов, вопросы в карточке — минимум один из них должен показывать то же самое. Иначе вы чините то, чего нет.
Есть и случаи, когда исследование не нужно совсем. Если у конкурентов меньше 100 отзывов на карточку — считать нечего, читайте их подряд за час и не изображайте методику. Если товар один и он не имеет вариантов — темы будут те же, что у вас, и исследование только подтвердит известное. Если у вас нет собственной статистики возвратов и обращений — вы не сможете ни проверить находки, ни оценить эффект правок, и разумнее сначала завести эту статистику: как это выглядит на своих отзывах, разобрано в материале про мониторинг репутации компании.
И последнее. Исследование отзывов конкурентов не даёт продуктовой стратегии — оно даёт список правок, каждая из которых стоит несколько часов редактора и проверяется за месяц. В этом его ценность и его потолок. Если после отчёта в компании не появилось трёх фамилий напротив трёх правок и трёх метрик, деньги потрачены на документ, а не на изменение: сами по себе тексты карточек не переписываются, а генерация описаний ускоряет только выпуск, но не решение о том, что именно менять.
