| Предыдущая версия справа и слеваПредыдущая версияСледующая версия | Предыдущая версия |
| topics:rackcooling [2025/11/09 15:53] – admin | topics:rackcooling [2025/11/09 17:25] (текущий) – admin |
|---|
| ====== Локальное охлаждение: стойки и серверы ====== | ====== Локальное охлаждение: стойки и серверы ====== |
| <WRAP box round> | <WRAP box round> |
| Раздел о технологиях короткого контура для высокоплотных IT-нагрузок: задние теплообменные двери, замкнутые и жидкостно-охлаждаемые стойки, Direct-to-Chip/«прямо к кристаллу» и иммерсионное охлаждение. Рассматриваются схемы интеграции жидкостных контуров и эксплуатационные аспекты. | Раздел о технологиях приближённого теплоотвода для высокоплотных IT-нагрузок: от систем на уровне стойки (задние теплообменные двери, замкнутые шкафы, рядовые и встроенные охладители) до решений на уровне сервера (жидкостное охлаждение микросхем — Direct-to-Chip, или D2C, и иммерсионные ванны). Рассматриваются архитектура жидкостных контуров, показатели эффективности и эксплуатационные аспекты. |
| </WRAP> | </WRAP> |
| |
| |
| <WRAP box round half column> | <WRAP box round half column> |
| **Охлаждение стоек** | **Содержание раздела** |
| * [[topics:14:rack_heat_exchangers|Задние теплообменные двери и замкнутые стойки]] | * [[topics:14:principles|Общие принципы локального охлаждения]] |
| * [[topics:14:rack_liquid_integration|Интеграция жидкостных контуров на уровне стоек]] | * [[topics:14:rack_level|Теплоотвод на уровне стойки]] |
| </WRAP> | </WRAP> |
| |
| <WRAP box round half column> | <WRAP box round half column> |
| **Охлаждение серверов** | **Продолжение** |
| * [[topics:14:direct_to_chip|Direct-to-Chip и гибридные решения]] | * [[topics:14:server_level|Теплоотвод на уровне сервера]] |
| * [[topics:14:immersion_cooling|Иммерсионное охлаждение и эксплуатация ванн]] | * [[topics:14:trends|Тенденции и развитие технологий]] |
| * [[topics:14:future_trends|Технологические тренды и развитие рынка]] | |
| </WRAP> | </WRAP> |
| |
| %%{init: {"theme":"neutral","fontSize":14} }%% | %%{init: {"theme":"neutral","fontSize":14} }%% |
| flowchart TB | flowchart TB |
| A["Параметры нагрузки: кВт/стойку, ограничения по воздушному тракту"] --> B{"Воздушный теплоотвод достаточен?"} | A["Тепловая нагрузка, кВт/стойку"] --> B{"Возможен воздушный теплоотвод?"} |
| B -- "Да" --> Air["Воздушные решения: изоляция, ↑уставка, рядовые охладители (in-row), оптимизация вентиляторов"] | B -- "Да" --> Air["Воздушные решения: изоляция коридоров, ↑уставка, оптимизация потоков, in-row"] |
| B -- "Нет" --> C{"Есть технологическая вода?"} | B -- "Нет" --> C{"Есть жидкостный контур (вода/гликоль)?"} |
| C -- "Да" --> RackLiq["Жидкостные на стойке: Rear-Door HX / in-rack (ILCU)"] | C -- "Да" --> RackLiq["Жидкостные стойки: задние теплообменные двери / замкнутые шкафы"] |
| C -- "Нет" --> AirOnly["Остаёмся на воздухе: in-row/коридоры; ограничение плотности"] | C -- "Нет" --> AirOnly["Воздушное охлаждение с ограничением плотности, модернизация потоков"] |
| |
| RackLiq --> D{"Плотность экстремальная / особые требования (пыль, акустика)?"} | RackLiq --> D{"Плотность > 50 кВт/стойку или особые условия (пыль, акустика)?"} |
| D -- "Да" --> D2C["Direct-to-Chip / Иммерсия"] | D -- "Да" --> D2C["Direct-to-Chip (жидкостное охлаждение микросхем) / Иммерсия"] |
| D -- "Нет" --> RackLiq | D -- "Нет" --> RackLiq |
| </mermaid> | </mermaid> |
| **Опорная таблица: методы охлаждения на уровне стойки** | **Опорная таблица: методы охлаждения на уровне стойки** |
| |
| ^ Метод ^ Принцип ^ Типовые случаи ^ Преимущества ^ Ограничения/риски ^ | ^ Метод ^ Принцип ^ Типичные случаи ^ Преимущества ^ Ограничения/риски ^ |
| | Усиленное воздушное (изоляция потоков, управление вентиляторами) | Улучшение «холодный↔горячий», снижение байпасов, адаптивные уставки | Низкая–средняя плотность, смешанные залы | Низкая сложность, быстрый эффект, совместимо с существующей инфраструктурой | Ограниченный потолок по плотности; чувствительно к дисциплине кабелей и заглушек | | | Усиленное воздушное (изоляция, контроль вентиляторов) | Управление потоками между холодным и тёплым коридором | Средняя плотность, модернизация существующих залов | Простота, быстрое внедрение, совместимость | Ограниченная эффективность при нагрузках >15 кВт/стойку | |
| | **Rear-Door Heat Exchanger** (пассив/актив) | Теплообменник-«дверь» на выхлопе стойки с жидкостным контуром | Средняя–высокая плотность; ограничение тёплого воздуха в зале | Снимает тепло локально, разгружает зал; совместим с воздухораспределением | Потребность в воде/гликоле, гидравлическое подключение, контроль конденсата/утечек | | | **Задняя теплообменная дверь** | Радиатор «воздух–жидкость» на выходе стойки | Средняя–высокая плотность, модернизация без перестройки зала | Снимает до 70–80 % тепла локально | Требует подключения к воде/гликолю, контроль конденсата | |
| | Замкнутые стойки (in-rack, I/LCU) | Встроенный охладитель в стойке, контур «воздух-жидкость» внутри шкафа | Горячие точки, «острова» высокой плотности | Независимость от зала, масштабируемость по стойкам | Обслуживание в шкафу, резервирование питания/воды, шум | | | **Замкнутые шкафы (in-rack)** | Встроенный жидкостный охладитель, циркуляция внутри шкафа | «Острова» высокой плотности | Независимость от зала, масштабируемость | Повышенные требования к сервису и резервированию воды/питания | |
| | Рядовые охладители (in-row) | Охладители в ряду возле стоек (воздух-вода/хладагент) | Ряды высокой плотности, модульность | Близость к источнику тепла, гибкость конфигурации | Требует места в ряду, баланс потоков, гидравлика | | | **Рядовые охладители (in-row)** | Модули между стойками, воздух–вода или воздух–фреон | Ряды высокой плотности | Близость к источнику тепла, адаптивность | Требует места в ряду, балансировки гидравлики | |
| </WRAP> | </WRAP> |
| |
| |
| ^ Метод ^ Принцип ^ Применение ^ Преимущества ^ Ограничения/риски ^ | ^ Метод ^ Принцип ^ Применение ^ Преимущества ^ Ограничения/риски ^ |
| | Усиленное воздушное (радиаторы, тепловые трубки, управление вентиляторами) | Повышение эффективности воздушных трактов внутри сервера | Универсальные кластеры, смешанные нагрузки | Простота, совместимость, отсутствие жидкостей в сервере | Предел по тепловому пакету современных CPU/GPU | | | Усиленное воздушное | Радиаторы, тепловые трубки, адаптивные вентиляторы | Универсальные серверы, кластеры до 15–20 кВт/стойку | Простота и совместимость, отсутствие жидкости | Предел по тепловому пакету CPU/GPU | |
| | **Direct-to-Chip (D2C)** (cold plates) | Отвод тепла от процессоров/ускорителей через холодные пластины | Высокая плотность CPU/GPU, HPC/AI | Высокая эффективность, низкий шум в зале, «тёплая» обратка (утилизация тепла) | Жидкость в стойке/сервере, быстроразъёмы, контроль утечек, совместимость материалов | | | **Жидкостное охлаждение микросхем (Direct-to-Chip)** | Отвод тепла от процессоров через пластины с циркуляцией жидкости | HPC, AI, плотные CPU/GPU кластеры | Высокая эффективность, «тёплая» обратка, утилизация тепла | Необходима герметизация, контроль протечек, совместимость материалов | |
| | **Иммерсионное охлаждение** (одно-/двухфазное) | Полное погружение плат в диэлектрик | Экстремальная плотность, акустические/пылевые требования | Максимальная плотность, резкое снижение вентиляторных потерь | Специфичная сервисная модель, оборот/совместимость жидкостей, утилизация/экология | | | **Иммерсионное охлаждение** | Полное погружение серверов в диэлектрическую жидкость | Экстремальная плотность (до 200 кВт/стойку) | Минимизация вентиляторов, равномерное охлаждение | Высокая стоимость, обслуживание, несовместимость части компонентов | |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Интеграция жидкостного охлаждения (элементы контура)** | **Интеграция жидкостного охлаждения (основные элементы контура)** |
| <mermaid> | <mermaid> |
| %%{init: {"theme":"neutral","fontSize":10} }%% | %%{init: {"theme":"neutral","fontSize":10} }%% |
| flowchart LR | flowchart LR |
| A["Контур здания (вода/гликоль)"] --> B["CDU (liquid-to-liquid) в ряду/стойке"] | A["Контур здания (вода/гликоль)"] --> B["CDU (Liquid-to-Liquid) в ряду/стойке"] |
| B --> C["Внутристоечный контур: двери HX / cold plates / коллекторы"] | B --> C["Внутренний контур: теплообменные двери, холодные пластины, коллекторы"] |
| C --> D["Быстроразъёмы (dry-break), датчики протечек, дренаж"] | C --> D["Быстроразъёмы, датчики протечек, дренаж"] |
| B --> E["Насосные группы/частотные регуляторы, фильтры, дегазация"] | B --> E["Насосные группы с частотным управлением, фильтры, дегазация"] |
| A --> F["Источник холода: чиллер/сухие охладители/адиабатика/свободное охлаждение"] | A --> F["Источник холода: чиллер / сухие охладители / адиабатика / свободное охлаждение"] |
| </mermaid> | </mermaid> |
| |
| ^ Узел ^ Ключевые вопросы проектирования/эксплуатации ^ | ^ Узел ^ Ключевые вопросы проектирования и эксплуатации ^ |
| | Контур здания | Температурный коридор подачи/обратки, качество воды, резервирование A/B | | | Контур здания | Температура подачи/обратки, качество воды, резервирование A/B | |
| | CDU | Мощность и «подход», управление насосами (ΔP/расход), байпас, сервисный доступ | | | CDU | Управление ΔP, байпас, фильтрация, сервисный доступ | |
| | Внутристоечный контур | Маршрутизация шлангов, минимизация потерь давления, компоновка коллекторов | | | Внутренний контур | Минимизация потерь давления, компоновка шлангов | |
| | Соединения/безопасность | QD без пролива, лотки/поддоны, датчики/авто-cutoff, план локализации протечки | | | Безопасность | QD-соединения без пролива, поддоны, датчики утечек | |
| | Вода/химия | Ингибиторы, контроль коррозии/микробиологии, совместимость материалов (латунь/Al/Cu/полимеры) | | | Химсостав жидкости | Совместимость материалов, ингибиторы, контроль коррозии | |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Ключевые показатели для управления** | **Ключевые показатели эффективности** |
| * Профиль температур на входе IT-узлов и равномерность по U-юнитам. | * Температурный профиль по высоте стойки. |
| * ΔT стойки/двери HX, «подход» теплообменников; расход и ΔP по жидкостному контуру. | * Разница температур подачи и обратки (ΔT) в жидкостных модулях. |
| * Скорость вентиляторов и удельная мощность вентиляторных групп. | * Удельное энергопотребление вентиляторов и насосов. |
| * Частота утечек/срабатываний датчиков; MTTR по жидкостным инцидентам. | * MTBF/MTTR по инцидентам утечек. |
| * Доступная плотность на стойку/клетку; доля стоек, готовых к D2C/иммерсии. | * Плотность нагрузки и доля стоек, подготовленных к жидкостному охлаждению. |
| * Влияние на PUE/WUE и потенциал утилизации тепла (температура обратки). | * Влияние на PUE/WUE и возможность утилизации тепла. |
| </WRAP> | </WRAP> |
| |
| <WRAP box round> | <WRAP box round> |
| **Риски и меры снижения** | **Основные риски и меры их снижения** |
| * **Гидравлика**: кавитация, недобор расхода → расчёт ΔP, частотные регуляторы насосов, балансировка ветвей. | * **Гидравлика:** кавитация, разбалансировка ветвей → расчёт ΔP, частотное управление насосами. |
| * **Утечки**: разгерметизация QD/шлангов → dry-break коннекторы, лотки/датчики, регламенты сервисных работ. | * **Утечки:** использование dry-break соединений, поддонов, датчиков. |
| * **Конденсация**: поверхности ниже точки росы → контроль T подачи, изоляция, монитор RH/DP. | * **Конденсация:** изоляция трубопроводов, контроль точки росы. |
| * **Совместимость материалов/жидкостей**: коррозия, вымывание добавок → анализ воды/жидкости, регламенты замены, фильтрация. | * **Совместимость жидкостей:** анализ состава воды, фильтрация, регламенты замены. |
| * **Операционные процедуры**: заполнение/продувка/дегазация → чек-листы, обученный персонал, тестовые стенды. | * **Ошибки эксплуатации:** чек-листы на заполнение, дегазацию, обслуживание. |
| * **Электробезопасность**: маршруты шлангов вдали от шин/кабелей, каплеуловители, отключение питания при авариях. | * **Электробезопасность:** разводка шлангов вдали от шин/кабелей, автоотключение питания при протечке. |
| </WRAP> | </WRAP> |
| |
| |
