Современные лучшие практики проектирования охлаждения ЦОД

Резервирование — фундаментальная характеристика инженерной инфраструктуры ЦОД. Для большинства объектов лучшей практикой считается N+1 для всех критичных компонентов — от чиллеров и насосов до систем управления.

Основные выводы:

• резервирование обеспечивает непрерывность охлаждения даже при отказе узла;
• позволяет выводить оборудование в обслуживание без риска для ИТ-нагрузки (concurrent maintainability);
• допустимо оптимизировать и снижать степени резервирования там, где логика работы ЦОД это допускает (например, не резервировать трубопровод полностью, если есть временная мобильная мощность).

Важно: решение о резервировании должно быть задокументировано и согласовано с владельцем ЦОД.

Используемые схемы должны оцениваться не только по эффективности, но и по рискам отказов. Особенно это касается:

• экономайзеров (аварии из-за неверных показаний датчиков температуры/влажности),
• увлажнителей (высокое давление воды в помещении),
• систем вентиляции (риск попадания наружного воздуха без управления).

Лучшие практики требуют:

• дублирование датчиков,
• надёжный алгоритм «fail-safe»,
• сценарии перехода между режимами охлаждения,
• использование проверенных схем BMS/DDC.

Правильное построение «горячих» и «холодных» коридоров — обязательная часть современного ЦОД. Цель — исключить рециркуляцию горячего воздуха.

Ключевые решения:

• расстановка стоек фронт-к-фронту и тыл-к-тылу;
• выделение горячего коридора повышенной температуры (на 10–15 °C выше температуры помещения);
• использование перегородок, крыш, панелей и дверей (containment);
• контроль перепадов давления и температурной разницы.

Эффект:

• увеличение производительности охладителей при более горячем возврате (больший ΔT),
• уменьшение локальных перегревов,
• возможность использования экономайзеров.

Перенос тепла жидкостью эффективнее воздуха в десятки раз. Это направление стремительно растёт из-за высокоплотных нагрузок (AI/ML, HPC, GPU).

Важно для российского читателя:

• жидкостное охлаждение ≠ иммерсия; чаще используется внутренняя водяная петля в стойке — т. н. in-rack cooling или cooling distribution unit (CDU);
• ASHRAE TC9.9 публикует отдельные рекомендации по жидкостному охлаждению;
• при жидкостном охлаждении всё равно нужен небольшой воздушный поток — для боковых и верхних поверхностей стойки;
• влажность в помещении должна контролироваться, так как охлаждение не осушает воздух.

Преимущества:

• компактность;
• возможность охлаждать 20–80 кВт на стойку и выше;
• более высокий КПД.

Современное оборудование допускает более высокие температуры, чем принято исторически. ASHRAE определяет тепловой класс ITE и рекомендует:

• температура на входе ИТ — 18–27 °C,
• кратковременно допустимо до 32 °C без снижения ресурса,
• влажность — в пределах 45 ±5%, но допускаются 8–60% RH в зависимости от сценария.

Важные уточнения:

• повышение температур не должно происходить без контроля потоков воздуха;
• повышение температур уменьшает расход энергии, но увеличивает скорость вращения вентиляторов внутри серверов — их шум, износ и энергопотребление.

Баланс между экономией и риском нужно выбирать осознанно.

Экономайзеры (air-side или water-side) — важный источник снижения затрат. Лучшие практики:

• Air-side: подача наружного воздуха при благоприятных условиях.
• Water-side: охлаждение водой/раствором через сухие охладители/градирни.

Особенности для России:

• холодный климат делает экономайзеры особенно выгодными;
• важно учитывать загрязнение воздуха и требования фильтрации;
• воздухораспределение должно быть fail-safe: при ошибке датчика нельзя допустить переохлаждение/перегрев.

Эффект:

• снижение энергозатрат на 25–50%;
• дополнительное резервирование за счёт второго источника холода.

Для крупных ЦОД (>1 МВт) лучшей практикой считается централизованный испарительный контур (чеддер-плант / градирни). Он дешевле в эксплуатации и масштабируется лучше.

Для средних ЦОД:

• модульные решения (воздушные чиллеры),
• системы на базе DX и VRF,
• гибридные схемы.

ASHRAE подчёркивает: стремиться нужно к тому, чтобы механическое охлаждение работало как можно меньше — но с абсолютной надёжностью перехода в резервные режимы.

ASHRAE TC9.9 рекомендует уходить от «жёстких» диапазонов влажности, так как:

• переувлажнение приводит к коррозии,
• недоувлажнение — к риску статического разряда.

Лучшие практики:

• избегать увлажнителей на паре (дорого в эксплуатации),
• отдавать предпочтение адиабатическому увлажнению (испарение за счёт теплоты возвратного воздуха),
• минимизировать количество точек увлажнения,
• поддерживать влажность ≤ 60 % RH.

В большинстве российских регионов увлажнение нужно редко — воздух сухой только зимой.

Согласно ASHRAE 90.1–2020 и 90.4, эффективный дизайн — обязательное требование. Лучшие практики:

• оптимизация потоков воздуха (containment),
• использование частотно-регулируемых приводов (VFD),
• повышение температур возвратного воздуха,
• максимальное использование экономайзеров,
• эффективная организация работы вентиляторов серверов и CRAC/CRAH,
• автоматизация и DCIM-аналитика.

Энергоэффективность должна быть доказуема: расчёт, измерения, мониторинг, анализ трендов.