ETL — это регулярная операция «забрать, привести к одному виду, положить». Забрать данные из учётной системы, привести названия и единицы к общему словарю, положить результат в отдельную базу, из которой строятся отчёты. Шина данных — это отдельный узел, через который системы обмениваются друг с другом, вместо того чтобы каждая была связана с каждой напрямую.
Ближайшая офисная аналогия — сбор отчётности по отделам. Пока отделов три, руководитель просто обходит кабинеты и складывает распечатки в папку. Когда отделов становится восемь, а формы у всех разные, появляется человек, который забирает листы по графику, переписывает их в единый бланк и подшивает в общую папку с описью. ETL — это его работа. Шина — это когда вместо личных договорённостей «Петров передаёт Сидорову» ставят одну канцелярию с журналом входящих и исходящих.
Дальше разбираем оба термина по-словарному: что это, во что превращается в смете и в сроках, какой вопрос задать подрядчику и с чем их обычно путают. Расчёты — модельные, по состоянию на сентябрь 2026 года, ставка инженера 3 000 ₽/час.
ETL: три шага и почему третий не лишний
Разберём на конкретной операции — переносе продаж из 1С:УТ в отчётную базу, из которой строится дашборд для собственника.
- 1Забрать (extract)
Ночью выгружаются документы реализации за прошедшие сутки — в модельной компании это около 1 400 строк в день. Забирается не всё подряд, а согласованный список полей: контрагент, номенклатура, количество, сумма, склад, менеджер, дата.
- 2Привести к одному виду (transform)
Здесь происходит вся содержательная работа. Номенклатура сводится к единому справочнику, единицы приводятся к штукам и килограммам, контрагенты сопоставляются с записями CRM по ИНН, выручка считается по одному письменному определению — с НДС или без, с возвратами или без. Этот шаг занимает больше половины бюджета всей связки.
- 3Положить (load)
Готовые строки записываются в отдельную отчётную базу. Не в боевую 1С — именно в отдельную, и это принципиально: отчёт, построенный поверх рабочей базы, тормозит работу операторов и меняет свои цифры каждый раз, когда бухгалтерия правит документ задним числом.
Третий шаг — самый недооценённый. Из него вырастает витрина данных: заранее посчитанная таблица под конкретный отчёт, где уже сведены продажи, себестоимость и маржа по месяцам. Дашборд читает витрину, а не двадцать таблиц 1С, поэтому открывается за секунду, а не за минуту. Зачем нужна отдельная база и что она даёт, кроме скорости, мы разбирали в материале про хранилище данных и витрины.
Регулярный перенос данных из рабочих систем в отчётную базу с приведением к единому виду. Бизнесу даёт цифры, которые не меняются задним числом и не мешают работать операторам. В смете — три строки: регламент выгрузки, правила преобразования и расписание с контролем. Проверочный вопрос: что происходит, если ночная загрузка не прошла, — дашборд покажет вчерашние цифры молча или скажет, что данные не обновились.
И сразу отличие от соседнего термина, с которым ETL путают чаще всего. Интеграция — это операционный обмен: заказ с сайта появляется в CRM через минуту, потому что по нему нужно работать сейчас. ETL — это отчётный перенос: он идёт раз в сутки, в одну сторону и ничего не меняет в рабочих системах. Разная периодичность, разная цена ошибки, разные требования к надёжности. Что входит в цену операционного обмена, разобрано отдельно в статье про то, что такое интеграция систем.
Горизонтальная схема из четырёх блоков со стрелками. Блок 1 «1С:УТ, amoCRM, интернет-магазин» с подписью «1 400 строк в сутки». Блок 2 «Забрать: согласованный список полей». Блок 3 «Привести к одному виду: справочник номенклатуры, ИНН, единое определение выручки» — блок выделен и подписан «больше половины бюджета». Блок 4 «Отчётная база и витрина» с исходящей стрелкой к маленькому блоку «Дашборд». Под блоком 4 подпись «боевая 1С не затронута». Тонкие чертёжные линии, подписи по-русски.
Почему связи «каждый с каждым» растут быстрее, чем кажется
Число возможных пар считается по формуле n(n−1)/2. Прибавление одной системы добавляет не одну связь, а столько, сколько систем уже есть. Это и есть та самая квадратичная зависимость, о которую спотыкаются компании, выросшие с трёх систем до восьми за пару лет.
| Систем в обмене | Пар «каждый с каждым» | Добавит ещё одна система | Подключений к шине |
|---|---|---|---|
| 3 | 3 | +3 | 3 |
| 4 | 6 | +4 | 4 |
| 5 | 10 | +5 | 5 |
| 6 | 15 | +6 | 6 |
| 8 | 28 | +8 | 8 |
| 10 | 45 | +10 | 10 |
Честная оговорка, без которой эта таблица превращается в манипуляцию: все пары никто не строит. В живой компании на семь систем работает не 21 связь, а обычно 10–12 — остальные пары друг с другом просто не разговаривают. Поэтому пугать заказчика числом 21 нельзя, и считать сопровождение по нему тоже нельзя.
Настоящая цена прямых связей — не в том, чтобы их держать, а в том, чтобы их менять. Когда в номенклатуре появляется новое поле «склад отгрузки», правку надо внести в каждую связь, где эта номенклатура ходит, — в среднем в три места вместо одного. Когда обмен ломается, причину ищут в трёх журналах, лежащих в трёх разных системах, сопоставляя записи по времени вручную. Именно это, а не число линий на схеме, съедает бюджет.
Год жизни семи систем: две сметы
Модель: компания на 120 человек, семь систем в обмене — 1С:УТ, 1С:Бухгалтерия, amoCRM, интернет-магазин, складская система, телефония и сервис доставки. Действующих связей одиннадцать. За год происходит то, что происходит в любой растущей компании: подключаются две новые системы, шесть раз меняются форматы, двадцать пять раз кто-то приходит с вопросом «а почему заказ не доехал».
| Что происходит за год | Прямые связи | Через шину | Разница |
|---|---|---|---|
| Подключение 2 новых систем: 4 связи по 90 000 ₽ против одного подключения за 80 000 ₽ | 720 000 ₽ | 160 000 ₽ | 560 000 ₽ |
| 6 изменений формата (3 связи по 8 часов против одного правила за 6 часов) | 432 000 ₽ | 108 000 ₽ | 324 000 ₽ |
| 25 разборов «данные не доехали» (3,5 часа по трём журналам против 0,7 часа по одному) | 262 500 ₽ | 52 500 ₽ | 210 000 ₽ |
| Сопровождение самой шины | — | 300 000 ₽ | −300 000 ₽ |
| Итого за год | 1 414 500 ₽ | 620 500 ₽ | 794 000 ₽ |
Разница — 794 000 ₽ в год, то есть примерно 66 200 ₽ в месяц. Против неё стоит внедрение самой шины, и его тоже надо видеть построчно, а не одной суммой «интеграционная платформа — 700 000 ₽».
Из этой сметы видно главное: шина — это не покупка коробки, а строительство журнала и правил. Больше половины ядра уходит на то, чего в прямых связях нет вовсе, — на историю обменов, повторную обработку и уведомления. Если в предложении этих строк нет, вам продают не шину, а ещё одну связь, только с красивым названием.
Порог считается в изменениях, а не в системах
Из тех же цифр выводится проверяемое правило. Шина экономит на трёх событиях: подключение новой системы (280 000 ₽ разницы), изменение формата (54 000 ₽) и разбор инцидента (8 400 ₽). Против них стоит постоянный расход 300 000 ₽ в год на её сопровождение. Чтобы внедрение вернулось за год, сумма разниц должна превысить 984 000 ₽.
В нашей модели она составила 1 094 000 ₽ — за счёт двух новых систем и шести изменений формата. Уберите одну из этих строк, и картина меняется: при одной новой системе, трёх изменениях и двенадцати инцидентах разниц набирается 542 800 ₽, чистая экономия падает до 242 800 ₽ в год, а окупаемость уезжает почти на три года — 684 000 ₽ возвращаются за 34 месяца.
Шина нужна там, где системы меняют разные люди независимо друг от друга. Три команды — свой ИТ, подрядчик по 1С и вендор облачного сервиса — означают, что изменение формата приходит без предупреждения. Одна шина с журналом и правилами превращает такое изменение в правку в одном месте. Если же все системы ведёт один подрядчик и меняет их по согласованному графику, этот аргумент не работает.
Две половины на одном листе. Слева шесть узлов по кругу, соединённых между собой всеми возможными линиями, подпись «6 систем — 15 пар». Справа те же шесть узлов вокруг центральной горизонтальной рейки-шины, каждый соединён с ней одной линией, подпись «6 систем — 6 подключений». Под левой половиной пометка «правка формата — в 3 местах», под правой — «правка формата — в 1 месте». Тонкие чертёжные линии, подписи по-русски.
Три вопроса подрядчику
- 1Где хранится история обменов и сколько? Правильный ответ — отдельное хранилище сообщений с указанным сроком: 30, 90 или 365 дней. Ответ «в логах сервера» означает, что через месяц вы не докажете, уходил ли заказ вообще, и каждый спор с контрагентом будет заканчиваться словом против слова.
- 2Как перезапустить неудавшуюся загрузку и кто это может сделать? Нужен интерфейс, в котором ответственный сотрудник видит зависшее сообщение и нажимает «повторить». Ответ «напишите нам, мы перезапустим» — это скрытая строка расходов и задержка на сутки при каждом сбое.
- 3Кто владеет правилами преобразования и где они лежат? Правила сопоставления справочников и формулы полей должны быть выгружаемы и читаемы вами. Если они зашиты в код интеграции, при смене подрядчика вы платите заново за то, о чём уже один раз договаривались. Как это формулируется в договоре, разобрано в материале про интеграционные платформы и их коннекторы.
Самая частая подмена в коммерческих предложениях: платформа ставится, обмены через неё идут, но история сообщений не хранится, повторной обработки нет, уведомлений о зависших сообщениях нет. Экономия из расчёта при этом не появляется, потому что все три источника экономии — подключение, правка, разбор инцидента — держатся именно на журнале. Требуйте показать журнал обменов на демонстрации, а не архитектурную схему.
Когда шина не нужна
Обратная модель, чтобы отказ был с цифрами, а не с интонацией. Компания на 40 человек: 1С:УНФ, amoCRM и интернет-магазин, три связи, всё ведёт один подрядчик. За год — одна новая система, два изменения формата, пять инцидентов.
| Что происходит за год | Прямые связи в малой компании | Через шину |
|---|---|---|
| Подключение 1 новой системы: 2 связи по 90 000 ₽ против одного подключения за 80 000 ₽ | 180 000 ₽ | 80 000 ₽ |
| 2 изменения формата | 48 000 ₽ | 36 000 ₽ |
| 5 разборов инцидентов | 52 500 ₽ | 10 500 ₽ |
| Сопровождение шины | — | 300 000 ₽ |
| Итого за год | 280 500 ₽ | 426 500 ₽ |
Шина обходится на 146 000 ₽ в год дороже, и это ещё до внедрения, которое здесь стоило бы 444 000 ₽ — ядро 264 000 ₽ плюс три подключения. Вложение не возвращается ни на каком горизонте, пока число систем и темп изменений не вырастут. Правильное решение для такой компании — прямые связи и один общий словарь справочников, а разговор про шину отложить.
- Две-три системы и один подрядчик. Все правки идут по согласованному графику, координировать нечего. Прямые связи проще, дешевле и быстрее чинятся.
- Обмен нужен только ради отчётности. Если системы не должны разговаривать друг с другом в реальном времени, а данные нужны для дашборда, достаточно ночного ETL в отчётную базу — это дешевле шины втрое. Как собирается такой слой, разобрано в статье про сбор данных из 1С, CRM и таблиц.
- Справочники не сведены. Пока один контрагент существует в трёх написаниях, шина будет добросовестно разносить дубли по всем системам сразу — быстрее и надёжнее, чем это делали люди. Сведение справочников идёт до обмена, а не после; почему это так, показано в разборе одна цифра в трёх системах разная.
Столбчатая диаграмма из двух составных столбцов. Левый «Прямые связи, 1 414 500 ₽» состоит из трёх сегментов: подключения 720 000 ₽, изменения формата 432 000 ₽, разбор инцидентов 262 500 ₽. Правый «Через шину, 620 500 ₽» состоит из четырёх сегментов: подключения 160 000 ₽, изменения формата 108 000 ₽, разбор инцидентов 52 500 ₽, сопровождение шины 300 000 ₽. Между столбцами фигурная скобка с подписью «794 000 ₽ в год». Внизу подпись «внедрение 684 000 ₽ — окупаемость 10,3 месяца». Тонкие чертёжные линии, подписи по-русски.
Шину покупают не за красоту архитектуры, а за журнал. Всё, что она экономит, экономится в момент, когда что-то пошло не так и надо понять где.
