Содержание
Современные лучшие практики проектирования охлаждения ЦОД
Лучшие практики в проектировании систем охлаждения ЦОД формируются на пересечении требований надёжности, энергоэффективности, логистики эксплуатации и опыта крупнейших операторов дата-центров. Ниже сведены ключевые направления, которые рекомендуются ASHRAE, крупными облачными провайдерами и отраслевыми гайдлайнами.
1. Резервирование
Резервирование — фундаментальная характеристика инженерной инфраструктуры ЦОД. Для большинства объектов лучшей практикой считается N+1 для всех критичных компонентов — от чиллеров и насосов до систем управления.
Основные выводы:
- резервирование обеспечивает непрерывность охлаждения даже при отказе узла;
- позволяет выводить оборудование в обслуживание без риска для ИТ-нагрузки (concurrent maintainability);
- допустимо оптимизировать и снижать степени резервирования там, где логика работы ЦОД это допускает (например, не резервировать трубопровод полностью, если есть временная мобильная мощность).
Важно: решение о резервировании должно быть задокументировано и согласовано с владельцем ЦОД.
2. Надёжность
Используемые схемы должны оцениваться не только по эффективности, но и по рискам отказов. Особенно это касается:
- экономайзеров (аварии из-за неверных показаний датчиков температуры/влажности),
- увлажнителей (высокое давление воды в помещении),
- систем вентиляции (риск попадания наружного воздуха без управления).
Лучшие практики требуют:
- дублирование датчиков,
- надёжный алгоритм «fail-safe»,
- сценарии перехода между режимами охлаждения,
- использование проверенных схем BMS/DDC.
3. Организация потоков воздуха (Hot aisle / Cold aisle)
Правильное построение «горячих» и «холодных» коридоров — обязательная часть современного ЦОД. Цель — исключить рециркуляцию горячего воздуха.
Ключевые решения:
- расстановка стоек фронт-к-фронту и тыл-к-тылу;
- выделение горячего коридора повышенной температуры (на 10–15 °C выше температуры помещения);
- использование перегородок, крыш, панелей и дверей (containment);
- контроль перепадов давления и температурной разницы.
Эффект:
- увеличение производительности охладителей при более горячем возврате (больший ΔT),
- уменьшение локальных перегревов,
- возможность использования экономайзеров.
4. Жидкостное охлаждение
Перенос тепла жидкостью эффективнее воздуха в десятки раз. Это направление стремительно растёт из-за высокоплотных нагрузок (AI/ML, HPC, GPU).
Важно для российского читателя:
- жидкостное охлаждение ≠ иммерсия; чаще используется внутренняя водяная петля в стойке — т. н. in-rack cooling или cooling distribution unit (CDU);
- ASHRAE TC9.9 публикует отдельные рекомендации по жидкостному охлаждению;
- при жидкостном охлаждении всё равно нужен небольшой воздушный поток — для боковых и верхних поверхностей стойки;
- влажность в помещении должна контролироваться, так как охлаждение не осушает воздух.
Преимущества:
- компактность;
- возможность охлаждать 20–80 кВт на стойку и выше;
- более высокий КПД.
5. Оптимизация условий в помещении
Современное оборудование допускает более высокие температуры, чем принято исторически. ASHRAE определяет тепловой класс ITE и рекомендует:
- температура на входе ИТ — 18–27 °C,
- кратковременно допустимо до 32 °C без снижения ресурса,
- влажность — в пределах 45 ±5%, но допускаются 8–60% RH в зависимости от сценария.
Важные уточнения:
- повышение температур не должно происходить без контроля потоков воздуха;
- повышение температур уменьшает расход энергии, но увеличивает скорость вращения вентиляторов внутри серверов — их шум, износ и энергопотребление.
Баланс между экономией и риском нужно выбирать осознанно.
6. Использование экономайзеров
Экономайзеры (air-side или water-side) — важный источник снижения затрат. Лучшие практики:
- Air-side: подача наружного воздуха при благоприятных условиях.
- Water-side: охлаждение водой/раствором через сухие охладители/градирни.
Особенности для России:
- холодный климат делает экономайзеры особенно выгодными;
- важно учитывать загрязнение воздуха и требования фильтрации;
- воздухораспределение должно быть fail-safe: при ошибке датчика нельзя допустить переохлаждение/перегрев.
Эффект:
- снижение энергозатрат на 25–50%;
- дополнительное резервирование за счёт второго источника холода.
7. Охлаждение на уровне всего ЦОД
Для крупных ЦОД (>1 МВт) лучшей практикой считается централизованный испарительный контур (чеддер-плант / градирни). Он дешевле в эксплуатации и масштабируется лучше.
Для средних ЦОД:
- модульные решения (воздушные чиллеры),
- системы на базе DX и VRF,
- гибридные схемы.
ASHRAE подчёркивает: стремиться нужно к тому, чтобы механическое охлаждение работало как можно меньше — но с абсолютной надёжностью перехода в резервные режимы.
8. Контроль влажности
ASHRAE TC9.9 рекомендует уходить от «жёстких» диапазонов влажности, так как:
- переувлажнение приводит к коррозии,
- недоувлажнение — к риску статического разряда.
Лучшие практики:
- избегать увлажнителей на паре (дорого в эксплуатации),
- отдавать предпочтение адиабатическому увлажнению (испарение за счёт теплоты возвратного воздуха),
- минимизировать количество точек увлажнения,
- поддерживать влажность ≤ 60 % RH.
В большинстве российских регионов увлажнение нужно редко — воздух сухой только зимой.
9. Энергоэффективность
Согласно ASHRAE 90.1–2020 и 90.4, эффективный дизайн — обязательное требование. Лучшие практики:
- оптимизация потоков воздуха (containment),
- использование частотно-регулируемых приводов (VFD),
- повышение температур возвратного воздуха,
- максимальное использование экономайзеров,
- эффективная организация работы вентиляторов серверов и CRAC/CRAH,
- автоматизация и DCIM-аналитика.
Энергоэффективность должна быть доказуема: расчёт, измерения, мониторинг, анализ трендов.
