| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| topics:rackcooling [2025/09/27 15:30] – admin | topics:rackcooling [2025/11/09 17:25] (текущий) – admin |
|---|
| ====== Локальное охлаждение: стойки и серверы ====== | ====== Локальное охлаждение: стойки и серверы ====== |
| <WRAP box round> | <WRAP box round> |
| Раздел о технологиях «короткого контура» для высоких плотностей: решения на уровне стойки (задние теплообменные двери, замкнутые стойки, встроенные кондиционеры) и на уровне сервера (усиленное воздушное, direct-to-chip, иммерсия). Отдельно — интеграция жидкостных контуров и эксплуатационные аспекты. | Раздел о технологиях приближённого теплоотвода для высокоплотных IT-нагрузок: от систем на уровне стойки (задние теплообменные двери, замкнутые шкафы, рядовые и встроенные охладители) до решений на уровне сервера (жидкостное охлаждение микросхем — Direct-to-Chip, или D2C, и иммерсионные ванны). Рассматриваются архитектура жидкостных контуров, показатели эффективности и эксплуатационные аспекты. |
| </WRAP> | </WRAP> |
| |
| |
| <WRAP box round half column> | <WRAP box round half column> |
| **Стойка** | **Содержание раздела** |
| * [[topics:14:rack_cooling|Решения для охлаждения на уровне стоек]] | * [[topics:14:principles|Общие принципы локального охлаждения]] |
| | * [[topics:14:rack_level|Теплоотвод на уровне стойки]] |
| </WRAP> | </WRAP> |
| |
| <WRAP box round half column> | <WRAP box round half column> |
| **Сервер** | **Продолжение** |
| * [[topics:14:server_cooling|Методы охлаждения на уровне серверов]] | * [[topics:14:server_level|Теплоотвод на уровне сервера]] |
| * [[topics:14:trends|Будущие направления и тенденции]] | * [[topics:14:trends|Тенденции и развитие технологий]] |
| </WRAP> | </WRAP> |
| |
| **Навигация: выбор метода локального охлаждения** | **Навигация: выбор метода локального охлаждения** |
| <mermaid> | <mermaid> |
| %%{init: {"theme":"neutral","fontSize":28} }%% | %%{init: {"theme":"neutral","fontSize":14} }%% |
| flowchart TB | flowchart TB |
| A["Параметры нагрузки: кВт/стойку, ограничения по воздушному тракту"] --> B{"Воздушный теплоотвод достаточен?"} | A["Тепловая нагрузка, кВт/стойку"] --> B{"Возможен воздушный теплоотвод?"} |
| B -- "Да" --> Air["Воздушные решения: изоляция, ↑setpoint, in-row, оптимизация вентиляторов"] | B -- "Да" --> Air["Воздушные решения: изоляция коридоров, ↑уставка, оптимизация потоков, in-row"] |
| B -- "Нет" --> C{"Есть технологическая вода?"} | B -- "Нет" --> C{"Есть жидкостный контур (вода/гликоль)?"} |
| C -- "Да" --> RackLiq["Жидкостные на стойке: Rear-Door HX / in-rack (ILCU)"] | C -- "Да" --> RackLiq["Жидкостные стойки: задние теплообменные двери / замкнутые шкафы"] |
| C -- "Нет" --> AirOnly["Остаёмся на воздухе: in-row/коридоры; ограничение плотности"] | C -- "Нет" --> AirOnly["Воздушное охлаждение с ограничением плотности, модернизация потоков"] |
| |
| RackLiq --> D{"Плотность экстремальная / особые требования (пыль, акустика)?"} | RackLiq --> D{"Плотность > 50 кВт/стойку или особые условия (пыль, акустика)?"} |
| D -- "Да" --> D2C["Direct-to-Chip / Иммерсия"] | D -- "Да" --> D2C["Direct-to-Chip (жидкостное охлаждение микросхем) / Иммерсия"] |
| D -- "Нет" --> RackLiq | D -- "Нет" --> RackLiq |
| </mermaid> | </mermaid> |
| **Опорная таблица: методы охлаждения на уровне стойки** | **Опорная таблица: методы охлаждения на уровне стойки** |
| |
| ^ Метод ^ Принцип ^ Типовые случаи ^ Преимущества ^ Ограничения/риски ^ | ^ Метод ^ Принцип ^ Типичные случаи ^ Преимущества ^ Ограничения/риски ^ |
| | Усиленное воздушное (изоляция, управл. вентиляторами) | Улучшение «холодный↔горячий», снижение байпасов, адаптивные уставки | Низкая–средняя плотность, смешанные залы | Низкая сложность, быстрый эффект, совместимо с существующей инфраструктурой | Ограниченный потолок по плотности; чувствительно к дисциплине кабелей и заглушек | | | Усиленное воздушное (изоляция, контроль вентиляторов) | Управление потоками между холодным и тёплым коридором | Средняя плотность, модернизация существующих залов | Простота, быстрое внедрение, совместимость | Ограниченная эффективность при нагрузках >15 кВт/стойку | |
| | **Rear-Door Heat Exchanger** (пассив/актив) | Теплообменник-«дверь» на выхлопе стойки с жидкостным контуром | Средняя–высокая плотность; ограничение тёплого воздуха в зале | Снимает тепло локально, разгружает зал; совместим с воздухораспределением | Потребность в воде/гликоле, гидравлическое подключение, конденсат/утечки | | | **Задняя теплообменная дверь** | Радиатор «воздух–жидкость» на выходе стойки | Средняя–высокая плотность, модернизация без перестройки зала | Снимает до 70–80 % тепла локально | Требует подключения к воде/гликолю, контроль конденсата | |
| | Замкнутые стойки (in-rack, I/LCU) | Встроенный охладитель в стойке, цикл «воздух-жидкость» внутри шкафа | Горячие точки, «острова» высокой плотности | Независимость от зала, масштабируемость по стойкам | Обслуживание в шкафу, резервирование питания/воды, шум | | | **Замкнутые шкафы (in-rack)** | Встроенный жидкостный охладитель, циркуляция внутри шкафа | «Острова» высокой плотности | Независимость от зала, масштабируемость | Повышенные требования к сервису и резервированию воды/питания | |
| | In-row (рядовые охладители) | Охладители в ряду возле стоек (воздух-вода/хладагент) | Ряды высокой плотности, модульность | Близость к источнику тепла, гибкость конфигурации | Требует места в ряду, баланс потоков, гидравлику | | | **Рядовые охладители (in-row)** | Модули между стойками, воздух–вода или воздух–фреон | Ряды высокой плотности | Близость к источнику тепла, адаптивность | Требует места в ряду, балансировки гидравлики | |
| </WRAP> | </WRAP> |
| |
| |
| ^ Метод ^ Принцип ^ Применение ^ Преимущества ^ Ограничения/риски ^ | ^ Метод ^ Принцип ^ Применение ^ Преимущества ^ Ограничения/риски ^ |
| | Усиленное воздушное (радиаторы, тепловые трубки, управление вентиляторами) | Повышение эффективности воздушных трактов внутри сервера | Универсальные кластеры, смешанные нагрузки | Простота, совместимость, отсутствие жидкостей в сервере | Предел по тепловому пакету современных CPU/GPU | | | Усиленное воздушное | Радиаторы, тепловые трубки, адаптивные вентиляторы | Универсальные серверы, кластеры до 15–20 кВт/стойку | Простота и совместимость, отсутствие жидкости | Предел по тепловому пакету CPU/GPU | |
| | **Direct-to-Chip (D2C)** (cold-plates) | Отвод тепла с процессоров/ускорителей через холодные пластины | Высокая плотность CPU/GPU, HPC/AI | Высокая эффективность, низкий шум в зале, горячая вода на выходе (утилизация тепла) | Контур жидкости в стойке/сервере, QD-соединения, контроль утечек, materials compatibility | | | **Жидкостное охлаждение микросхем (Direct-to-Chip)** | Отвод тепла от процессоров через пластины с циркуляцией жидкости | HPC, AI, плотные CPU/GPU кластеры | Высокая эффективность, «тёплая» обратка, утилизация тепла | Необходима герметизация, контроль протечек, совместимость материалов | |
| | **Иммерсионное охлаждение** (одно-/двухфазное) | Полное погружение плат в диэлектрик | Экстремальная плотность, акустические/пылевые требования | Максимальная плотность, радикальное снижение вентиляторных потерь | Специфичная сервисная модель, оборот/совместимость жидкостей, утилизация/экология | | | **Иммерсионное охлаждение** | Полное погружение серверов в диэлектрическую жидкость | Экстремальная плотность (до 200 кВт/стойку) | Минимизация вентиляторов, равномерное охлаждение | Высокая стоимость, обслуживание, несовместимость части компонентов | |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Интеграция жидкостного охлаждения (элементы контура)** | **Интеграция жидкостного охлаждения (основные элементы контура)** |
| <mermaid> | <mermaid> |
| %%{init: {"theme":"neutral","fontSize":10} }%% | %%{init: {"theme":"neutral","fontSize":10} }%% |
| flowchart LR | flowchart LR |
| A["Контур здания (вода/гликоль)"] --> B["CDU (Liquid-to-Liquid) в ряду/стойке"] | A["Контур здания (вода/гликоль)"] --> B["CDU (Liquid-to-Liquid) в ряду/стойке"] |
| B --> C["Внутристоечный контур: двери HX / cold-plates / manifolds"] | B --> C["Внутренний контур: теплообменные двери, холодные пластины, коллекторы"] |
| C --> D["Быстроразъёмы (dry-break), датчики протечек, дренаж"] | C --> D["Быстроразъёмы, датчики протечек, дренаж"] |
| B --> E["Насосные группы/VFD, фильтры, дегазация"] | B --> E["Насосные группы с частотным управлением, фильтры, дегазация"] |
| A --> F["Источник холода: чиллер/сухие охладители/ADIABATIC/free-cooling"] | A --> F["Источник холода: чиллер / сухие охладители / адиабатика / свободное охлаждение"] |
| </mermaid> | </mermaid> |
| |
| ^ Узел ^ Ключевые вопросы проектирования/эксплуатации ^ | ^ Узел ^ Ключевые вопросы проектирования и эксплуатации ^ |
| | Контур здания | Температурный коридор подачи/обратки, качество воды, резервирование A/B | | | Контур здания | Температура подачи/обратки, качество воды, резервирование A/B | |
| | CDU | Мощность и «подход», управление насосами (ΔP/расход), байпас, сервисный доступ | | | CDU | Управление ΔP, байпас, фильтрация, сервисный доступ | |
| | Внутристоечный контур | Маршрутизация шлангов, минимизация падений давления, компоновка коллекторов | | | Внутренний контур | Минимизация потерь давления, компоновка шлангов | |
| | Соединения/безопасность | QD без пролива, лотки/поддоны, датчики/авто-cutoff, план локализации протечки | | | Безопасность | QD-соединения без пролива, поддоны, датчики утечек | |
| | Вода/химия | Ингибиторы, контроль коррозии/микробиологии, совместимость материалов (латунь/Al/Cu/полимеры) | | | Химсостав жидкости | Совместимость материалов, ингибиторы, контроль коррозии | |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Ключевые показатели для управления** | **Ключевые показатели эффективности** |
| * Соответствие входных температур ИТ-узлов и равномерность по U-юнитам (профили T на лицевой панели). | * Температурный профиль по высоте стойки. |
| * ΔT стойки/двери HX, «подход» теплообменников; расход и ∆P по жидкостному контуру. | * Разница температур подачи и обратки (ΔT) в жидкостных модулях. |
| * Скорость вентиляторов и удельная потребляемая мощность вентиляторных групп. | * Удельное энергопотребление вентиляторов и насосов. |
| * Частота событий утечек/срабатываний датчиков; MTTR по жидкостным инцидентам. | * MTBF/MTTR по инцидентам утечек. |
| * Доступная плотность на стойку/клетку; доля стоек, готовых к D2C/иммерсии. | * Плотность нагрузки и доля стоек, подготовленных к жидкостному охлаждению. |
| * Влияние на PUE/WUE и возможность утилизации тепла (температура обратки). | * Влияние на PUE/WUE и возможность утилизации тепла. |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Риски и меры снижения** | **Основные риски и меры их снижения** |
| * **Гидравлика**: кавитация, недобор расхода → расчёт ∆P, VFD насосов, балансировка ветвей. | * **Гидравлика:** кавитация, разбалансировка ветвей → расчёт ΔP, частотное управление насосами. |
| * **Утечки**: разогерметизация QD/шлангов → dry-break коннекторы, лотки/датчики, регламенты сервисных работ. | * **Утечки:** использование dry-break соединений, поддонов, датчиков. |
| * **Конденсация**: холодные поверхности ниже точки росы → контроль T подачи, изоляция, монитор RH/DP. | * **Конденсация:** изоляция трубопроводов, контроль точки росы. |
| * **Совместимость материалов/жидкостей**: коррозия, вымывание добавок → анализ воды/жидкости, регламенты замены, фильтрация. | * **Совместимость жидкостей:** анализ состава воды, фильтрация, регламенты замены. |
| * **Операционные процедуры**: заполнение/продувка/дегазация → чек-листы, обученный персонал, тестовые стенды. | * **Ошибки эксплуатации:** чек-листы на заполнение, дегазацию, обслуживание. |
| * **Электрика и безопасность**: маршруты шлангов вдали от шин/кабелей, каплеуловители, отключение питания при авариях. | * **Электробезопасность:** разводка шлангов вдали от шин/кабелей, автоотключение питания при протечке. |
| </WRAP> | |
| | |
| <WRAP box round> | |
| **Контрольные вопросы** | |
| - Какой целевой диапазон плотности по стойкам и какая доля будет требовать жидкостных решений? | |
| - Есть ли подготовленные гидравлические стояки/магистрали и места под CDU в ряду/стойке (A/B)? | |
| - Выбран ли стандарт быстроразъёмов и стратегия обнаружения/локализации утечек? | |
| - Зафиксированы температурные уставки подачи/обратки и логика переключения режимов (free-cooling/адиабатика/мех. охлаждение)? | |
| - Определены процедуры сервисных работ (дренаж, дегазация, промывка) и ответственность? | |
| - Оценены эффекты на энергоэффективность и возможность утилизации тепла (тёплая обратка)? | |
| </WRAP> | </WRAP> |
| |