====== Современные лучшие практики проектирования охлаждения ЦОД ====== Лучшие практики в проектировании систем охлаждения ЦОД формируются на пересечении требований надёжности, энергоэффективности, логистики эксплуатации и опыта крупнейших операторов дата-центров. Ниже сведены ключевые направления, которые рекомендуются ASHRAE, крупными облачными провайдерами и отраслевыми гайдлайнами. ===== 1. Резервирование ===== Резервирование — фундаментальная характеристика инженерной инфраструктуры ЦОД. Для большинства объектов лучшей практикой считается **N+1** для всех критичных компонентов — от чиллеров и насосов до систем управления. Основные выводы: * резервирование обеспечивает непрерывность охлаждения даже при отказе узла; * позволяет выводить оборудование в обслуживание без риска для ИТ-нагрузки (concurrent maintainability); * допустимо оптимизировать и снижать степени резервирования там, где логика работы ЦОД это допускает (например, не резервировать трубопровод полностью, если есть временная мобильная мощность). Важно: решение о резервировании должно быть **задокументировано** и согласовано с владельцем ЦОД. ===== 2. Надёжность ===== Используемые схемы должны оцениваться не только по эффективности, но и по **рискам отказов**. Особенно это касается: * экономайзеров (аварии из-за неверных показаний датчиков температуры/влажности), * увлажнителей (высокое давление воды в помещении), * систем вентиляции (риск попадания наружного воздуха без управления). Лучшие практики требуют: * дублирование датчиков, * надёжный алгоритм «fail-safe», * сценарии перехода между режимами охлаждения, * использование проверенных схем BMS/DDC. ===== 3. Организация потоков воздуха (Hot aisle / Cold aisle) ===== Правильное построение «горячих» и «холодных» коридоров — обязательная часть современного ЦОД. Цель — исключить рециркуляцию горячего воздуха. Ключевые решения: * расстановка стоек фронт-к-фронту и тыл-к-тылу; * выделение горячего коридора повышенной температуры (на 10–15 °C выше температуры помещения); * использование перегородок, крыш, панелей и дверей (containment); * контроль перепадов давления и температурной разницы. Эффект: * увеличение производительности охладителей при более горячем возврате (больший ΔT), * уменьшение локальных перегревов, * возможность использования экономайзеров. ===== 4. Жидкостное охлаждение ===== Перенос тепла жидкостью эффективнее воздуха в десятки раз. Это направление стремительно растёт из-за высокоплотных нагрузок (AI/ML, HPC, GPU). Важно для российского читателя: * жидкостное охлаждение ≠ иммерсия; чаще используется внутренняя водяная петля в стойке — т. н. **in-rack cooling** или **cooling distribution unit (CDU)**; * ASHRAE TC9.9 публикует отдельные рекомендации по жидкостному охлаждению; * при жидкостном охлаждении всё равно нужен небольшой воздушный поток — для боковых и верхних поверхностей стойки; * влажность в помещении должна контролироваться, так как охлаждение не осушает воздух. Преимущества: * компактность; * возможность охлаждать 20–80 кВт на стойку и выше; * более высокий КПД. ===== 5. Оптимизация условий в помещении ===== Современное оборудование допускает более высокие температуры, чем принято исторически. ASHRAE определяет **тепловой класс ITE** и рекомендует: * температура на входе ИТ — **18–27 °C**, * кратковременно допустимо до **32 °C** без снижения ресурса, * влажность — в пределах **45 ±5%**, но допускаются 8–60% RH в зависимости от сценария. Важные уточнения: * повышение температур не должно происходить без контроля потоков воздуха; * повышение температур уменьшает расход энергии, но увеличивает скорость вращения вентиляторов внутри серверов — их шум, износ и энергопотребление. Баланс между экономией и риском нужно выбирать осознанно. ===== 6. Использование экономайзеров ===== Экономайзеры (air-side или water-side) — важный источник снижения затрат. Лучшие практики: * **Air-side**: подача наружного воздуха при благоприятных условиях. * **Water-side**: охлаждение водой/раствором через сухие охладители/градирни. Особенности для России: * холодный климат делает экономайзеры особенно выгодными; * важно учитывать загрязнение воздуха и требования фильтрации; * воздухораспределение должно быть fail-safe: при ошибке датчика нельзя допустить переохлаждение/перегрев. Эффект: * снижение энергозатрат на 25–50%; * дополнительное резервирование за счёт второго источника холода. ===== 7. Охлаждение на уровне всего ЦОД ===== Для крупных ЦОД (>1 МВт) лучшей практикой считается **централизованный испарительный контур** (чеддер-плант / градирни). Он дешевле в эксплуатации и масштабируется лучше. Для средних ЦОД: * модульные решения (воздушные чиллеры), * системы на базе DX и VRF, * гибридные схемы. ASHRAE подчёркивает: стремиться нужно к тому, чтобы механическое охлаждение работало как можно меньше — но с абсолютной надёжностью перехода в резервные режимы. ===== 8. Контроль влажности ===== ASHRAE TC9.9 рекомендует уходить от «жёстких» диапазонов влажности, так как: * переувлажнение приводит к коррозии, * недоувлажнение — к риску статического разряда. Лучшие практики: * избегать увлажнителей на паре (дорого в эксплуатации), * отдавать предпочтение **адиабатическому увлажнению** (испарение за счёт теплоты возвратного воздуха), * минимизировать количество точек увлажнения, * поддерживать влажность ≤ 60 % RH. В большинстве российских регионов увлажнение нужно редко — воздух сухой только зимой. ===== 9. Энергоэффективность ===== Согласно ASHRAE 90.1–2020 и 90.4, эффективный дизайн — обязательное требование. Лучшие практики: * оптимизация потоков воздуха (containment), * использование частотно-регулируемых приводов (VFD), * повышение температур возвратного воздуха, * максимальное использование экономайзеров, * эффективная организация работы вентиляторов серверов и CRAC/CRAH, * автоматизация и DCIM-аналитика. Энергоэффективность должна быть доказуема: расчёт, измерения, мониторинг, анализ трендов.