====== Модульные подходы в проектировании ====== ===== Контекст и цели ===== Модульный подход формирует архитектуру ЦОД как набор стандартизированных блоков («модулей») ИТ-пространства, питания и охлаждения, которые можно поэтапно вводить, перестраивать и выводить из эксплуатации без остановки сервиса. Цель — обеспечить: * согласование темпов ввода мощностей с реальным спросом; * высокую энергоэффективность при неполной загрузке; * управляемую надёжность и ремонтопригодность; * сокращение сроков проектирования/ввода (design-to-commission). * Модульность — это не только контейнеры. Это принцип построения **white space**, **power blocks** и **cooling blocks** с унифицированными интерфейсами (электро, гидравлика, автоматика). ===== Классы модульных решений ===== ==== Контейнерные (prefab/plug-and-play) ==== * Заводская готовность, быстрый монтаж, предсказуемое качество. * Типовые кейсы: быстрый прирост мощности, периферийные площадки, временные кластеры для пиковых нагрузок. ==== Индустриализированные (гибридные) ==== * Традиционное здание + модульные **MEP-skid** (UPS/БЩП, чиллерные модули, насосные группы, CDU). * Баланс капитальности и гибкости; поэтапное наращивание без остановки ИТ. ==== Традиционные сооружения с модульной разбивкой ==== * Здание спроектировано под «очереди» строительства: **зал-1 → зал-2 → зал-3**. * Инфраструктура подводится по мере роста, исключается избыточная начальная мощность. ^ Тип решения ^ Время ввода ^ Масштабируемость ^ Энергоэффективность при 25–50% загрузки ^ Ограничения ^ | Контейнерный | Минимальное | Высокая | Выше, за счёт включения модулей «по требованию» | Ограничения по площади/шуму/городским регламентам | | Индустриализированный (гибридный) | Среднее | Очень высокая | Выше, за счёт модульных UPS/чиллеров | Требует продуманной стыковки инженерных интерфейсов | | Традиционный с модульной разбивкой | Среднее | Средне-высокая | Средняя/выше (зависит от дисциплины поэтапного ввода) | Риск «застрявшей» избыточной мощности при отклонении спроса | ===== Энергетическая логика модульности ===== ==== Потери при неполной загрузке (качественно) ==== * **UPS/распределение:** КПД растёт с загрузкой; крупные монолитные системы на 25–40% загрузки теряют больше. * **Охлаждение:** чиллеры/насосы/вентиляторы эффективнее в модульной схеме (включение меньших блоков, VSD, ступенчатая работа). * **White space:** секции с изоляцией горячих/холодных коридоров позволяют держать высокую уставку и выключать неиспользуемые ряды. $$ P_{\text{инфр}}(L)\;\approx\;\sum_m P_{m}^{\text{min}}\cdot I(L\!>\!L_m)\;+\;\sum_m f_m(L)\,, $$ где \(L\) — текущая доля ИТ-нагрузки, \(P_{m}^{\text{min}}\) — базовая мощность включённого модуля \(m\), \(f_m(L)\) — переменная часть потребления. Цель модульной стратегии — минимизировать сумму базовых мощностей, держать систему в зоне высоких КПД и включать только нужные модули. ==== Триггер расширения мощности ==== $$ t_{k+1}=\min\{\,t:\; D(t)\ge S_k\cdot \alpha\,\}\,, $$ где \(D(t)\) — прогноз спроса, \(S_k\) — установленная мощность очереди \(k\), \(\alpha\) — порог расширения (напр., 0.75–0.85). Такой триггер удерживает инфраструктуру в «эффективной зоне» без рисков дефицита. ===== Архитектурные паттерны модульности ===== ==== Power-pods (электроснабжение) ==== * **UPS-pod** с собственными ББП/АКБ/распределением; независимое обслуживание, схемы N+1/2N. * **Шинопроводы/busway** с секционированием для гибкого переназначения линий. * **Правило загрузки:** стремиться к 60–80% для максимального КПД, перераспределять стоечные группы между подами. ==== Cooling-pods (охлаждение) ==== * Чиллерные/адъабатические/сухие градирни модульно, с VSD и поэтапным наращиванием. * **Экономайзеры** (air-/water-side) как базовый режим в благоприятном климате; испарительное охлаждение — для «сухих» регионов. * **CDU/TCS** для жидкостного охлаждения высокоплотных ИИ-кластеров; параллельная эксплуатация с воздушным контуром. ==== White-space pods (ИТ-залы) ==== * По 1–2 «крыла» с полной изоляцией горячих/холодных коридоров. * Локальные датчики (температура/влажность/ΔP), автоматика уставок на уровне ряда/зоны. * Возможность временной консервации (отключение вентиляторов/ПДУ в пустых рядах). * Критичные ошибки: ранний «перевыпуск» мощности, отсутствие секционирования, общий крупный UPS/чиллер без модулей, жёсткие уставки по «старым» стандартам, неучтённая плотность ИИ-кластеров. ===== Проектирование и ввод по очередям (staged build) ===== ==== План-график влияния на энергоэффективность (качественно) ==== * **ИТ-стратегия** и **стратегия ЦОД** (ранняя стадия): максимальное влияние — выбор модульной архитектуры, целевых PUE/COP, классов ASHRAE, границ влажности. * **Подбор ИТ-оборудования, охлаждение, электрика:** выбор VSD, экономайзеров, схем резервирования. * **Внедрение/пусконаладка/комиссионирование:** правило «меряй и настраивай» — верификация под нагрузкой очередей 25/50/75/100%. * **Эксплуатация:** поддержание модульного режима, регулярный ребаланс. ==== Check-list ввода очереди ==== * Подтверждённый прогноз и триггер расширения \(\alpha\). * Баланс мощностей ИТ:инфраструктура ≈ требуемый для целевого PUE. * VSD на вентиляторах/насосах; кривые КПД UPS при планируемых загрузках. * Наличие изоляции коридоров, готовность к повышенным уставкам (по ASHRAE 2015/2025). * Тесты экономайзеров и сценарии отказа (fail-over между модулями). * Схемы N+1/N+N/2N описаны на уровне **подов**, а не одного «общего» блока. ===== Экономика и риски ===== ^ Аспект ^ Модульный подход ^ Монолитный подход ^ | CAPEX | Поэтапный, «плати по мере роста» | Высокий upfront, риск избыточности | | OPEX при неполной загрузке | Ниже (модули в зоне лучшего КПД) | Выше (базовые потери крупной системы) | | Надёжность/ремонт | Секционирование, локальная изоляция отказов | Общие точки отказа | | Скорость расширения | Высокая (готовые модули/под-подключение) | Средняя/низкая | | Инженерная сложность | Требует продуманной стыковки интерфейсов и автоматики | Ниже, но менее гибко | ===== Управление режимами (операционный уровень) ===== ==== Воздух/вентиляция ==== * Полная изоляция коридоров; таргетирование ΔT по верхним уставкам ASHRAE. * Оптимизация расхода по законам подобия вентиляторов: $$P_{\text{fan}}\propto Q^3,\qquad P_{\text{pump}}\propto \dot V^3$$ * Практика: снижение расхода на 10% даёт экономию мощности вентиляторов/насосов порядка 25–30%. ==== Охлаждение ==== * **Set-point strategy:** целевая уставка подачи ≥ 24–27 °C (при соблюдении классов ASHRAE), приоритет free-cooling. * **Экономайзеры:** air-side — для умеренного/холодного климата; water-side — там, где доступна низкотемпературная вода. * **Жидкостное охлаждение для высоких плотностей:** CDU/rach-CDU, горячая петля > 30–45 °C для утилизации тепла. ==== Электропитание ==== * Держать загрузку модульных UPS в зоне макс. КПД (обычно 60–80%). * Гибкий роуминг линий питания между подами; использование шинопровода вместо кабельных магистралей. * Наибольшая часть выигрышей достигается **на этапе стратегии и дизайна**; в эксплуатации важно дисциплинированно отключать лишние модули и поднимать уставки, опираясь на мониторинг. ===== Карта выбора охлаждения по климату (ориентир) ===== ^ Климат/ресурсы ^ Режим по умолчанию ^ Добавки/акценты ^ | Холодный/умеренный | Air-side economizer + изоляция коридоров | Увлажнение по расширенным конвертам ASHRAE; контроль ESD | | Сухой жаркий | Испарительное/адъабатическое + water-side | Повышенные уставки подачи; усиленный контроль воды | | Влажный жаркий | Water-side economizer + чиллеры с VSD | Осушение, агрессивная изоляция коридоров | | Высокая плотность (ИИ) | Жидкостные контуры (CDU/TCS) | Тёплые петли для утилизации тепла; резерв по мощности | ===== Ключевые метрики и контроль ===== * **PUE по модулям** и общий PUE. * **КПД UPS** на фактической загрузке каждого пода. * **COP/кВт/тонна** для каждого холодильного модуля; доля работы в free-cooling. * **Уставки/диапазоны ASHRAE** (температура/влажность) и доля времени в «зелёной зоне». * **Плотность стоек** и доля высокоплотных кластеров с жидкостным охлаждением. * **Степень задействования мощностей** (installed vs. utilized) по каждому поду. ===== Ключевые идеи ===== * Модульность — стратегический принцип: проектируй **под-уровень** для ИТ, питания и охлаждения, вводи по очередям по триггеру загрузки. * Энергоэффективность достигается снижением базовых потерь и удержанием модулей в зоне оптимального КПД (UPS/чиллеры/VSD). * Комбинируй изоляцию коридоров, экономайзеры и повышенные уставки по ASHRAE; для ИИ-кластеров — сразу закладывай жидкостные контуры. * Монолит оправдан только при гарантированной высокой загрузке и предсказуемом росте; во всех прочих сценариях выигрывает модульный/гибридный подход. * Дисциплина измерений (PUE по подам, COP, загрузка UPS, время в free-cooling) — основа устойчивой экономии OPEX.