Системный обзор принципов проектирования, оценки и эксплуатации вычислительных кластеров с высокой энергоэффективностью. Материал охватывает конфигурации по ENERGY STAR, методики расчёта эффективности, влияние компонентной базы, воздушные схемы, особенности CPU/GPU/ASIC/Storage-серверов и эксплуатационные практики (виртуализация, SDDC, утилизация тепла).
Ключевая метрика: производительность на единицу мощности.
$$Eff=\frac{Performance}{Total\ Power}$$
где: - \(Performance\) — нормализованная производительность по набору эталонных тестов под профиль нагрузки; - \(Total\ Power\) — суммарная потребляемая мощность сервера (ИТ-нагрузка + накопители + сети), Вт.
Высокая частота и «топовые» CPU не гарантируют лучшую энергоэффективность: узкими местами становятся подсистема памяти, характер ввода-вывода и неравномерность нагрузки.
ENERGY STAR использует три репрезентативные конфигурации семейства серверов:
| Конфигурация | Суть | Минимальная ёмкость памяти |
|---|---|---|
| Низкоуровневая (Low-end) | Наименьшая производительность, удовлетворяющая требованиям ENERGY STAR. | \(Mem_{low}=N_{ch}\times DIMM_{min}\) |
| Высокоуровневая (High-end) | Максимальный CPU-скор, многопоточность, верхний предел семейства. | \(Mem_{high}\ge 3\times (Sockets\times Cores\times Threads)\) |
| Типовая (Typical) | Массовая поставка, «средний» рынок. | \(Mem_{typ}\ge 2\times (Sockets\times Cores\times Threads)\) |
Активная эффективность состояния (ASE) агрегирует вклад CPU, памяти и хранения:
$$ Eff_{ACTIVE}=\exp\!\Big(0.65\cdot\ln(Eff_{CPU})+0.30\cdot\ln(Eff_{MEMORY})+0.05\cdot\ln(Eff_{STORAGE})\Big) $$
Расчёт компонентных эффективностей (геометрические средние по профилям):
\[ \begin{aligned} Eff_{CPU}&=\operatorname{GEOMEAN}(Eff_{COMPRESS},\,Eff_{LU},\,Eff_{SOR},\,Eff_{CRYPTO},\,Eff_{SORT},\,Eff_{SHA256},\,Eff_{HYBRIDSSJ}) \\ Eff_{MEMORY}&=\operatorname{GEOMEAN}(Eff_{FLOOD3},\,Eff_{CAPACITY3}) \\ Eff_{STORAGE}&=\operatorname{GEOMEAN}(Eff_{SEQUENTIAL},\,Eff_{RANDOM}) \\ \end{aligned} \]
Где каждая \(Eff_x\) определяется как:
$$Eff(i)=1000\cdot \frac{Perf(i)}{Pwr(i)}$$
- \(Perf(i)\) — геометрическое среднее интервальных значений производительности теста \(i\); - \(Pwr(i)\) — геометрическое среднее интервальных значений мощности, Вт.
Ориентиры минимального \(Eff_{ACTIVE}\) (типовые значения ENERGY STAR для справки; актуальные версии стандарта следует уточнять):
| Тип продукта | Минимум \(Eff_{ACTIVE}\) |
|---|---|
| 1 CPU, Rack | 11.0 |
| 1 CPU, Blade/мультимоуд | 9.0 |
| 1 CPU, Tower | 9.4 |
| 1 CPU, Resilient | 4.8 |
| 2 CPU, Rack | 13.0 |
| 2 CPU, Blade/мультимоуд | 14.0 |
| 2 CPU, Tower | 12.0 |
| >2 CPU, Rack | 16.0 |
| >2 CPU, Blade/мультимоуд | 9.6 |
| >2 CPU, Resilient | 4.2 |
Энергоэффективность — результат согласования материнской платы, CPU, памяти, накопителей, сетевых карт и блока питания с потоками воздуха и профилем задач.
SSD против HDD (пример удельной производительности на ватт):
| Параметр | SSD (2.5«, ~960 ГБ) | HDD (2.5», ~900 ГБ) |
|---|---|---|
| Активная мощность, Вт | ~3.2 | ~7.6 |
| Последовательное чтение, МБ/с | ~564 | ~300 |
| Удельная производительность, МБ/с·Вт | ~176 | ~39 |
КПД по классу 80 PLUS (типовые значения при 230 В):
| Класс | КПД при 20 % | 50 % | 100 % |
|---|---|---|---|
| Gold | ~90 % | ~94 % | ~91 % |
| Platinum | ~92 % | ~96 % | ~94 % |
| Titanium | ~94 % | ~96 % | ~94 % |
* Использование постоянного тока (например, 380–400 В DC шины от ИБП к стойкам) снижает число преобразований и потери (актуально для новых ЦОД; в РФ — требуется индивидуальное технико-экономическое обоснование и соответствие нормам электробезопасности).
Вместо оценки одной компоненты применяют взвешенную геометрическую среднюю по наборам тестов, отражающим доли CPU, памяти, хранилища и I/O. Это приближает оценку к реальным смешанным нагрузкам.
Условия эксплуатации ЦОД в России отличаются продолжительным отопительным сезоном, континентальным климатом и высокой стоимостью электроэнергии в пиковых часах. Поэтому энергоэффективность должна рассматриваться не только на уровне оборудования, но и в интеграции с климатическими и инженерными системами здания.
Оптимальные диапазоны параметров эксплуатации для энергоэффективных ЦОД, характерных для российских климатических зон:
| Параметр | Рекомендуемое значение | Практический комментарий |
|---|---|---|
| Температура подачи воздуха к серверам | 18–27 °C | Соответствует классам ASHRAE A1–A3; в большинстве регионов РФ этот диапазон обеспечивает баланс между надёжностью и возможностью частичного «свободного охлаждения». |
| Относительная влажность в машинном зале | 40–60 % | Диапазон, минимизирующий риск статического разряда и коррозии без избыточного увлажнения. |
| Средняя загрузка CPU | 70–80 % | Оптимум между эффективным использованием мощности и тепловой стабильностью; ниже 70 % — недоиспользование ресурсов, выше 80 % — ускоренный износ и рост энергозатрат на охлаждение. |
| Класс эффективности блока питания (PSU) | ≥ 94 % (Platinum) при 50 % нагрузке | Для плотных стоек — Platinum/Titanium; для офисных и периферийных серверов достаточно уровня Gold. КПД БП напрямую влияет на суммарный PUE. |
| Тип системы электропитания | DC-шина 380–400 В (пилотно) | Снижение потерь на двойное преобразование AC/DC; рекомендуется к внедрению в новых крупных объектах. |
| Тип охлаждения | Комбинированное: экономайзер + механическое охлаждение | На большей части территории РФ возможно 40–60 % времени работы в режиме «свободного» охлаждения; зимой — почти 100 %. |
| Температура возвратного воздуха (hot aisle) | 35–45 °C | Повышение температуры возвратного потока улучшает эффективность чиллеров и позволяет использовать рекуперацию тепла. |
| Повторное использование тепла серверов | Да — в системах ГВС или воздушного отопления | Особенно эффективно при наружной температуре ниже −5 °C и отопительном сезоне > 6 мес. |
| Целевое значение PUE для нового ЦОД | ≤ 1.3 | Реалистичный показатель для современных российских объектов при применении естественного охлаждения и БП уровня Platinum. |
Указанные значения не являются нормативом, но могут использоваться как ориентиры при энергоаудите, разработке эксплуатационных регламентов и расчёте ТЭО. Цель — сохранить баланс между надёжностью ИТ-оборудования, энергетической эффективностью и возможностями климата РФ.