Дашборд начинается со справочников, потому что спор о цифре почти никогда не является спором о цифре. Руководитель отдела говорит, что у него 340 клиентов, в отчёте стоит 291, и оба числа верны: в CRM «Ромашка» и «ООО Ромашка» — две карточки, в 1С — одна, а в таблице закупок этот же клиент записан по фамилии директора. Пока такое возможно, любую цифру на экране можно оспорить, и её оспаривают ровно до тех пор, пока дашборд не перестают открывать.

Это самая частая причина, по которой технически исправный проект аналитики не принимают. Визуализация сделана, данные грузятся, а на приёмке выясняется, что выручка по клиенту складывается из трёх карточек, а маржа по товарной группе не считается, потому что одна и та же услуга лежит в трёх группах сразу. Дальше начинается неприятный разговор о том, кто должен был это предусмотреть.

Ниже — процедура, которая закрывает вопрос до старта разработки: четыре справочника, без которых не строится ни один отчёт, назначение владельца каждого, регламент заведения новой позиции на одну страницу, расчёт схлопывания дублей на базе в 12 000 контрагентов и пять признаков, по которым видно, что к BI приступать рано. Технический слой, который потом читает эти справочники, разобран отдельно — как собрать данные из 1С, CRM и таблиц в одно место.

Четыре справочника, на которых стоит любой отчёт

Справочников в учётной системе десятки, но отчётность держится на четырёх. Остальные либо производны от них, либо не участвуют в управленческих вопросах. По каждому из четырёх нужно знать три вещи: что ломается без порядка, по какому признаку виден беспорядок и кто владелец.

СправочникЧто не считается без порядкаПризнак беспорядкаКто владелец
КонтрагентыВыручка и дебиторка по клиенту, доля постоянных, средний чекОдин клиент в нескольких карточках, контрагенты без ИНН, «Иванов И. И.» вместо юрлицаРуководитель отдела продаж
НоменклатураМаржа по товарной группе, ABC-анализ, оборачиваемостьОдна позиция в двух группах, единицы измерения в свободном поле, «прочее» на четверть оборотаРуководитель закупок или категорийный менеджер
Подразделения и сотрудникиПлан-факт по менеджерам, нагрузка, воронка в разрезе командУволенные в активном списке, один человек в двух отделах, отдел без руководителяКадровая служба вместе с ИТ
Статьи доходов и расходовУправленческий отчёт о прибылях, себестоимость направленияСтатьи заводятся бухгалтером под проводку, а не под управленческий смыслФинансовый директор или главный бухгалтер

Обратите внимание на последнюю колонку: везде стоит роль, а не отдел. Владелец справочника — это конкретный человек с фамилией, который отвечает на два вопроса: можно ли завести новую позицию и правильно ли заведена спорная. Формулировка «за справочник отвечает коммерческий блок» на практике означает, что не отвечает никто, и через квартал в номенклатуре появляется третий «Монтаж». Это тот же механизм, из-за которого буксуют проекты автоматизации, когда у процесса нет владельца: работа формально распределена, а решение принять некому.

Четвёртая строка таблицы — статьи доходов и расходов — обычно оказывается самой болезненной, потому что справочник уже есть и выглядит рабочим. Проблема в том, что его вёл бухгалтер под задачи учёта: статьи нарезаны так, как удобно проводить документы и сдавать отчётность, а не так, как руководитель думает о бизнесе. В результате «доставка» может быть размазана по трём статьям, а собственные и подрядные работы лежать в одной. Управленческий справочник статей строится отдельно и сопоставляется с бухгалтерским — почему эти два контура вообще не обязаны совпадать, разобрано в материале про управленческую и бухгалтерскую отчётность.

Регламент на одну страницу: кто и как заводит позицию

Согласование справочников выглядит как большая методологическая работа, а на деле умещается в один документ на страницу. Он нужен не ради бюрократии: без него порядок, наведённый один раз, разъезжается за квартал, потому что менеджер под давлением клиента заводит новую карточку быстрее, чем ищет существующую.

  1. 1
    Шаг 1. Назначить владельца и право заведения

    На каждый справочник — одна фамилия. Отдельно фиксируется, кто имеет техническое право создать новую позицию: обычно это два-три человека, а не все пользователи системы. Ограничение прав в 1С и CRM делается за час и снимает половину будущих дублей.

  2. 2
    Шаг 2. Описать ключ уникальности

    Для контрагентов это ИНН, для номенклатуры — артикул или штрихкод, для сотрудников — табельный номер. Ключ — это ответ на вопрос «как система поймёт, что такая запись уже есть». Без явного ключа проверка на дубли невозможна в принципе, и её отсутствие маскируется словами «менеджер должен внимательно смотреть».

  3. 3
    Шаг 3. Задать правило поиска перед созданием

    Порядок действий менеджера: сначала поиск по ключу, потом по нормализованному названию, и только затем создание. В CRM это настраивается проверкой на дубли при сохранении карточки, в 1С — контролем заполнения. Требование «искать внимательно» без технической проверки не работает никогда.

  4. 4
    Шаг 4. Определить, что делать со спорной позицией

    Заводится черновая карточка с пометкой «на проверке», она не попадает в отчёты и рассматривается владельцем в течение суток. Это единственный способ не останавливать работу менеджера и одновременно не пускать мусор в отчётность.

  5. 5
    Шаг 5. Назначить дату пересмотра

    Раз в квартал владелец просматривает новые позиции и список «прочее». Пятнадцать минут работы, которые не дают справочнику вернуться в исходное состояние. Без этого пункта регламент живёт ровно до первого отпуска.

схема процессаdashbord-nachinaetsya-so-spravochnikov--01
Схема заведения новой позиции: поиск по ключу, черновик на проверке, владелец справочника

Схема из шести блоков со стрелками: «Менеджеру нужна новая позиция» → «Поиск по ключу: ИНН, артикул, табельный номер» → развилка. Ветка «найдено» ведёт в блок «Использовать существующую». Ветка «не найдено» ведёт в «Черновая карточка: пометка «на проверке», в отчёты не попадает» → «Владелец справочника проверяет в течение суток» → «Позиция принята в справочник». Сбоку отдельная рамка «Право создания: 2–3 человека, а не все пользователи». Внизу подпись «пересмотр раз в квартал». Чертёжный стиль, подписи по-русски.

Черновик «на проверке» не тормозит менеджера и не пускает мусор в отчёты

Схлопывание дублей за три приёма

Самая пугающая часть работы на практике оказывается самой предсказуемой. Модельная база: 12 000 карточек контрагентов, накопленных за восемь лет, ИНН заполнен у 84 % — то есть 1 920 карточек без него. Работа делится на три приёма, и только третий требует человека.

  1. 1Слияние по ИНН. Механическая операция: карточки с одинаковым ИНН — это один контрагент, независимо от написания названия. Здесь же выбирается, какая карточка становится главной, и переносятся связанные документы. В модельной базе так уходит 1 640 пар, примерно шесть часов вместе с выверкой результата.
  2. 2Слияние по нормализованному названию и адресу. Из названия убираются организационно-правовая форма, кавычки, лишние пробелы и регистр: «ООО Ромашка», «Ромашка ООО» и «ромашка» превращаются в один ключ «ромашка». Дальше сверяется адрес или телефон. Восемь часов, 380 пар, и обязательный просмотр списка человеком: одинаковые названия у разных юрлиц встречаются чаще, чем кажется.
  3. 3Ручной разбор спорных. Остаются карточки без ИНН, с разными адресами и живой историей по обеим. Их 240, по четыре минуты на каждую — шестнадцать часов. Часть из них правильный ответ «не объединять»: это разные точки одной сети или разные юрлица одного холдинга.
Схлопывание дублей: база 12 000 контрагентов, ставка 3 500 ₽/час
Приём 1. Слияние по ИНН со скриптом и выверкой — 1 640 пар6 часов
Приём 2. Слияние по нормализованному названию и адресу — 380 пар8 часов
Приём 3. Ручной разбор спорных: 240 карточек × 4 минуты16 часов
Итого работы30 часов
Стоимость по ставке 3 500 ₽/час105 000 ₽
Итого105 000 ₽ и минус 2 260 карточек из 12 000 — база сокращается на 18,8 %

Та же работа, сделанная после сдачи дашбордов, стоит примерно вдвое дороже. К 105 000 ₽ добавляется пересборка витрин, которые считались по старым ключам: четыре витрины по 20 000 ₽ и повторная приёмка на 15 000 ₽ — итого около 200 000 ₽. Разница не в сложности, а в порядке действий: справочники — это фундамент, и заливать его после того, как стены поставлены, всегда дороже.

Побочный эффект этой работы обычно оказывается больше основного. Дубли контрагентов и номенклатуры ломают не только отчёты: на них спотыкаются обмены между системами. Заказ с сайта не находит клиента и создаёт нового, поступление приходит на «другую» карточку той же позиции, остаток расходится с фактом. Типовые сценарии таких сбоев мы разбирали в материале про ошибки обмена с 1С: дубли и пересорт — и в половине случаев причина не в интеграции, а в справочнике, к которому она подключена. Поэтому чистка, оплаченная как подготовка к аналитике, попутно чинит обмен и снимает часть ручной работы у бухгалтерии.

Объединять карточки задним числом можно не всегда

Если по обеим карточкам проходили документы в закрытых периодах, слияние меняет прошлую отчётность — а закрытый период меняться не должен. Рабочая практика: слить карточки в справочнике с текущей даты, а для истории оставить связь «эта карточка когда-то была отдельной» в таблице соответствий. Тогда прошлые отчёты воспроизводятся, а новые считаются правильно.

графикdashbord-nachinaetsya-so-spravochnikov--02
Диаграмма схлопывания дублей: 2260 карточек из 12000 уходят за три приёма по 6, 8 и 16 часов

Комбинированная диаграмма. Слева столбец «Было: 12 000 карточек», справа столбец «Стало: 9 740 карточек». Между ними три горизонтальные полосы-приёма с подписями: «По ИНН — 1 640 пар, 6 часов», «По нормализованному названию и адресу — 380 пар, 8 часов», «Ручной разбор — 240 карточек, 16 часов». Под ними итоговая строка «30 часов × 3 500 ₽ = 105 000 ₽» и отметка «−18,8 % базы». Оси и единицы подписаны, все числа проставлены.

Первые два приёма снимают 89 % дублей за 14 часов, третий требует человека

Код позиции не должен ничего означать

Второе правило после владельца — правило кодирования. «Говорящий» артикул вида КРС-БЕЛ-2М-ОПТ выглядит удобным ровно до первого изменения: поставщик сменился, цвет ушёл из ассортимента, позиция переехала в другую ценовую группу — и код перестал соответствовать товару. Его переписывают, и в этот момент история продаж по позиции рвётся: до перекодировки один код, после — другой, и отчёт за год показывает две разные позиции вместо одной.

В модельной базе на 8 400 позиций «говорящие» артикулы у 3 100, и за последний год перекодировали 214 из них. Каждая перекодировка — это либо разрыв истории, либо ручная склейка в отчёте, про которую через полгода никто не помнит. Правильная схема другая: код технический и неизменный, а всё, что раньше пытались в него зашить, живёт отдельными полями — бренд, цвет, размер, поставщик, ценовая группа. Тогда позиция меняет свойства сколько угодно раз, а история продаж остаётся сплошной.

С уже накопленными «говорящими» артикулами воюют не переименованием, а добавлением. Существующий код остаётся как есть и переезжает в отдельное поле «рабочее обозначение» — по нему менеджеры продолжают искать. Рядом появляется технический ключ, по которому считаются отчёты. Перекодировать 3 100 позиций разом не нужно и вредно: достаточно закрыть возможность создавать новые «говорящие» коды и разбирать старые по мере обращения.

Если справочники объединить нельзя

Иногда объединение технически невозможно или запрещено: в 1С и в отраслевой системе разные владельцы и разные регламенты, юрлица холдинга ведут учёт независимо, а CRM вообще не умеет хранить нужный ключ. Тогда справочники оставляют раздельными, а между ними появляется таблица соответствий — и это не костыль, а полноценный объект со своим владельцем и регламентом.

Что это значитТаблица соответствий

Отдельная таблица вида «код в 1С — код в CRM — комментарий — дата изменения», по которой слой сбора склеивает записи из разных систем. У неё есть владелец, регламент обновления и правило действий при появлении несопоставленной позиции: она не выбрасывается, а попадает в отчёт об исключениях и разбирается вручную.

В модельной компании такая таблица содержит 3 200 строк сопоставления номенклатуры между 1С и CRM. Её ведёт руководитель отдела продаж, обновление занимает около полутора часов в неделю, а несопоставленные позиции раз в неделю приходят ему отдельным списком. Главное правило: несопоставленная строка не исчезает из отчёта молча. Если позиции нет в таблице соответствий, продажа по ней должна попасть в графу «не сопоставлено» и быть видимой, иначе выручка начинает тихо утекать из отчётности.

карта связейdashbord-nachinaetsya-so-spravochnikov--03
Карта связи двух справочников через таблицу соответствий и графу «не сопоставлено»

Карта связей. Слева блок «Справочник 1С:УТ — 8 400 позиций», справа блок «Справочник amoCRM». Между ними центральный блок «Таблица соответствий — 3 200 строк» с подписями внутри: «код в 1С», «код в CRM», «дата изменения», «владелец: руководитель отдела продаж». От центрального блока стрелка вправо в «Витрина продаж» и отдельная стрелка вниз в блок «Отчёт об исключениях: не сопоставлено — разбор раз в неделю, 1,5 часа». Чертёжный стиль, подписи по-русски.

Несопоставленная позиция обязана быть видимой, а не исчезать из отчёта

Пять признаков, что справочники не готовы к BI

Проверка занимает вечер и делается сводными таблицами по выгрузке — специальных инструментов не нужно. Если сработали хотя бы три пункта из пяти, разработку дашбордов стоит отодвинуть на две-три недели и потратить их на справочники.

  • Одна услуга живёт в трёх группах. «Монтаж» встречается в «Услугах», в «Работах» и в «Прочем». Любой отчёт по товарным группам после этого показывает три разные цифры в зависимости от того, кто его строил.
  • Больше 15 % контрагентов без ключа. В модельной базе ИНН нет у 1 920 карточек из 12 000 — это 16 %. Такие карточки нельзя ни проверить на дубли, ни сопоставить с другой системой, ни связать с данными из ЭДО.
  • Единицы измерения вводятся текстом. «шт», «шт.», «штук», «ШТ» в одном поле — и остаток по номенклатуре не суммируется. Это самый дешёвый в исправлении пункт списка и самый частый.
  • Группа «прочее» больше пятой части оборота. В модельной компании на «прочие товары» приходится 23 % выручки. Отчёт по направлениям при таком раскладе не показывает ничего: почти четверть бизнеса скрыта в одной строке.
  • Дубли с живой историей по обеим карточкам. Не просто одинаковые названия, а два клиента-близнеца, у каждого свои сделки и платежи. Это не чистка, а разбор: часть таких пар объединять нельзя, и решение принимает владелец справочника, а не подрядчик.
сравнениеdashbord-nachinaetsya-so-spravochnikov--04
Пять признаков беспорядка в справочниках и отчёты, которые из-за них не собираются

Сравнение в две колонки, пять строк. Левая колонка «Что в справочнике», правая «Какой отчёт не собирается». Строки: «Одна услуга в трёх группах» → «Маржа по товарным группам»; «16 % контрагентов без ИНН — 1 920 из 12 000» → «Выручка и дебиторка по клиенту, сверка с ЭДО»; «Единицы измерения текстом: шт, шт., штук, ШТ» → «Остатки и оборачиваемость»; «Прочее — 23 % выручки» → «Продажи по направлениям»; «2 260 дублей с живой историей» → «Средний чек и доля постоянных клиентов». Внизу подпись «три сработавших пункта из пяти — разработку дашбордов отодвигают на 2–3 недели». Чертёжный стиль, подписи по-русски.

Каждый признак закрывает конкретный отчёт — и это видно до начала разработки

Каждый из пяти пунктов проверяется одной сводной таблицей по выгрузке и оценивается в часах — так же, как в семи проверках качества данных перед дашбордом. Разница в том, что справочники чинит владелец процесса, а не подрядчик: он единственный знает, «Ромашка» из Твери и «Ромашка» из Твери — это один клиент или два.

Когда порядок в справочниках можно отложить

Наводить порядок ради порядка не нужно — это работа, которая стоит денег и не даёт эффекта сама по себе. Есть три ситуации, в которых мы сами советуем отложить.

  • Отчёт строится по деньгам, а не по клиентам и товарам. Поступления и списания с расчётного счёта, платёжный календарь, кассовый разрыв — здесь справочник контрагентов участвует минимально, и дубли на итог не влияют.
  • Один источник и один читатель. Компания работает в одной базе 1С, отчёты смотрит собственник. Дубли ему мешают, но не создают спора между отделами, а спор между отделами — главная причина этой работы.
  • Процесс перестраивается прямо сейчас. Идёт слияние юрлиц, меняется ассортиментная матрица или переезд на другую конфигурацию. Справочник, приведённый в порядок за месяц до переезда, будет приведён в порядок ещё раз.

Важно, что эта работа не обязана задерживать проект. По календарю она занимает две-три недели и почти целиком идёт параллельно с обследованием и подключением источников: пока инженер разбирается с выгрузками, владельцы справочников проходят по спискам дублей и спорных позиций. Последовательное выполнение — сначала месяц на справочники, потом старт разработки — распространённая ошибка планирования, из-за которой проект выглядит вдвое длиннее, чем он есть. Единственное, что действительно нельзя делать параллельно, — сдавать витрины и одновременно менять ключи, по которым они считаются.

Во всех остальных случаях порядок в справочниках — это не подготовительный этап проекта аналитики, а его первая треть по трудозатратам. Если в коммерческом предложении на BI нет строки про справочники и определения метрик, значит, эта работа не исчезла — её просто выполните вы сами и в самый неудачный момент, между сдачей и приёмкой.

Отчёту верят не потому, что он красивый, а потому, что в компании один раз договорились, кого считать одним клиентом.