====== Интеграция и подключение промышленных систем (OT) ====== OT-системы (электроснабжение, охлаждение, безопасность) образуют базовый слой ЦОД, на котором работают IT-сети и сервисы. Цель раздела — зафиксировать принципы интеграции OT, их типовые протоколы, угрозы и практики кибербезопасности при подключении к корпоративной сети и DCIM. ===== Роль OT в архитектуре ЦОД ===== OT обеспечивает непрерывность вычислительного контура: сбой инженерных систем приводит к простоям IT и риску потери данных. Интеграция выполняется так, чтобы телеметрия и управление не создавали новых точек отказа и атак. flowchart TB classDef big font-size:14px,stroke-width:1.2px,padding:10px; OT["OT: питание, охлаждение, безопасность"]:::big --> IT["IT: серверы, СХД, сеть"]:::big IT:::big --> DATA["Данные и сервисы"]:::big subgraph MGMT["Контур управления"] NMS["NMS (SNMP)"]:::big BMS["BMS (Modbus/BACnet)"]:::big DCIM["DCIM"]:::big end NMS --- OT BMS --- OT DCIM --- NMS DCIM --- BMS ===== Протоколы мониторинга и управления OT ===== Исторически в ЦОД применяются три массовых протокола: SNMP, Modbus/TCP и BACnet. Они обеспечивают наблюдаемость через NMS/BMS и интеграцию в DCIM. ^ Параметр ^ SNMP v1/v2c/v3 ^ Modbus/TCP ^ BACnet/IP ^ | Модель данных | OID-дерево (MIB) | Регистры/катушки | Объекты/службы | | Транспорт | UDP/161 | TCP/502 | UDP 47808, иногда TCP | | Тип обмена | опрос/трап | опрос | опрос/подписка COV | | Безопасность | v1/v2c — нет; v3 — аутентификация и шифрование | нет (по умолчанию), допускает TLS через шлюзы | ограниченная (аутентификация зав. от реализации), без шифрования по умолчанию | | Где применяется | IT-оборудование, UPS, PDU, часть CRAC/чиллеров | ПЛК, электрика, датчики, счётчики | HVAC/холод, автоматика зданий | | Плюсы | простота, повсеместная поддержка | простота, детерминизм | объектная модель, COV снижает трафик | | Минусы | v1/v2c небезопасны | нет нативной безопасности | фрагментация реализаций, устаревшие стек-версии | * Все три протокола проектировались для изолированных сетей. В «плоской» L2-среде ЦОД без сегментации и контроля — высокий риск компрометации (перехват, подмена значений, несанкционированное управление). ===== Системы верхнего уровня ===== * NMS — агрегирует SNMP-телеметрию IT и части инженерки. * BMS — ядро «здания» (HVAC, насосы, КИПиА) на Modbus/BACnet. * DCIM — сквозной слой: инвентаризация, корреляция событий, ёмкостное планирование; получает данные из NMS/BMS/шлюзов. Высокая детализация телеметрии ведёт к значительным объёмам трафика опроса. В малых ЦОД это было незаметно; в крупных — без оптимизации опрос становится фактором нагрузки на сеть управления и контроллеры. ==== Оценка трафика опроса ==== $$R_{net} = \sum_{i=1}^{N} \left( \frac{S_i}{T_i} \right) \cdot k_{ovh}$$ где: - \(N\) — число узлов/контроллеров; - \(S_i\) — средний объём полезных данных за опрос, байт; - \(T_i\) — период опроса узла \(i\), с; - \(k_{ovh}\) — коэффициент накладных расходов протокола и L2/L3 (1.2–1.6 для UDP/IPv4 со SNMP-get/response; для TCP/Modbus берут 1.3–1.8 с учётом квитанций). Практическое правило: для «быстрых» тегов (критические аварии, статусы выключателей, уставки) — период 1–5 с; для «медленных» тегов (температуры, счётчики энергии) — 10–60 с или COV-подписка. ===== Уязвимости и типовые проблемы ===== * Небезопасные версии протоколов: SNMP v1/v2c (community-строки), открытый Modbus и BACnet без шифрования. * Плоские L2-сегменты, один общий VLAN «Engineering». * Доступ сервисных ноутбуков/подрядчиков к сети без контроля. * Шлюзы/конвертеры протоколов без обновлений и без журнала аудита. * Отсутствие «права на просмотр» (read-only) для телеметрии — управление доступно по умолчанию. * Логические ошибки: перепутанные уставки, широковещательные штормы, циклы опроса с периодом <1 с. Комбинация физического доступа к щитовой + небезопасный OT-протокол = возможность изменить уставки (например, отключить автоматику охлаждения) без следов в IT-SIEM. ===== Принципы безопасной интеграции OT ===== * **Сегментация по Purdue/зонам:** OT-полевой уровень (L0–L1) — изоляция; контроллеры (L2) — отдельные VLAN/VRF; диспетчеризация (L3) — через L3-фаервол. * **Политика «по умолчанию запрещено»:** allow-list по IP/UDP/TCP-портам (161/162, 502, 47808 и др.), раздельные ACL для чтения и управления. * **Шлюзы и брокеры:** SNMP-прокси, Modbus-шлюз с маппингом в «белый» реестр тегов; преобразование BACnet COV в события DCIM. * **Разделение ролей:** сбор данных — изолированный «коллектор» (read-only); команды управления — только с защищённого jump-host по MFA. * **Криптозащита и учёт:** SNMPv3 (authPriv), VPN/MTLS для удалённого доступа, централизованный syslog/OT-SIEM. * **Оптимизация опроса:** COV для BACnet, групповые get-bulk для SNMP, агрегация регистров Modbus, разные периоды по критичности. * **Надёжность:** резервные контроллеры/шлюзы, двойные сети управления (A/B), независимое питание NMS/BMS/DCIM. * **Синхронизация времени:** NTP/PTP для корреляции событий. * **Подрядчики:** временные учётки, отдельный «гостевой» сегмент, запись экрана на jump-host. * **РФ-контекст:** для объектов КИИ — категорирование и меры защиты по требованиям ФСТЭК; журналирование действий и контроль НСД. ===== Быстрый чек-лист внедрения ===== * Инвентаризация всех узлов OT, протоколов и портов. * L3-сегментация OT↔IT; запрет east-west между зонами OT. * Перевод SNMP на v3; Modbus/BACnet — через шлюз с ACL и журналом. * Разделение «telemetry-RO» и «control-RW» по разным политикам и учёткам. * Настройка DCIM как «читателя», а не управляющего контура. * Настройка порогов и hysteresis для событий; подавление «шторма» алертов. * Тест аварийных сценариев: потеря связи, ложные уставки, отказ контроллера. ===== Мини-пример расчёта трафика телеметрии ===== 50 устройств по SNMP, средний ответ 800 байт, период 10 с, \(k_{ovh}=1{,}3\): \(R_{net}= 50 \times (800/10) \times 1{,}3 \approx 5{,}2\ \text{кбит/с}\). Даже при увеличении до 500 устройств и периода 5 с — порядка 104 кбит/с. Узкое место чаще CPU контроллеров и обработка в менеджерах, а не пропускная способность сети. ===== Типовая схема угроз (для обсуждения с ИБ) ===== flowchart LR classDef big font-size:22px,stroke-width:1.2px,padding:10px; A["Физический доступ"]:::big --> B["Инсайдерские угрозы"]:::big A:::big --> C["Сбои инженерных систем (OT)"]:::big B:::big --> D["Взлом IT-инфраструктуры (сетевые атаки)"]:::big C:::big --> D D:::big --> E["Компрометация сервисов и данных"]:::big E:::big --> F["Методы защиты (сегментация, мониторинг, резервирование)"]:::big ===== Ключевые идеи ===== * OT — фундамент ЦОД; его сбои быстро транслируются в простои IT и риски для данных. * Основные «языки» OT в ЦОД: SNMP, Modbus/TCP, BACnet; по умолчанию они небезопасны. * NMS/BMS/DCIM дают наблюдаемость, но требуют сегментации, строгих ACL и read-only интеграции. * Сетевая нагрузка от телеметрии обычно умеренная; критичнее — безопасность и устойчивость контроллеров. * Обязательны SNMPv3, шлюзы с белыми списками тегов, jump-host с MFA и A/B-резервирование управления. * Для РФ: учитываем требования к объектам КИИ, журналирование и контроль удалённого доступа подрядчиков. * Проектирование интеграции OT начинается с инвентаризации, зонирования и модели угроз.