Содержание
Резервирование и архитектуры надёжности
Раздел обобщает принципы обеспечения надёжности электроснабжения ЦОД: устойчивость внешней сети (СН/ВН), сценарии отказов, требования к ИБП и ДГУ, а также сравнительный анализ основных топологий резервирования (N, N+1, 2N, распределённые схемы). Материал адаптирован под РФ с учётом типовых характеристик сетей и нормативов.
1. Устойчивость архитектуры ЦОД
Надёжность электроснабжения ЦОД определяется:
- качеством внешней сети (СН/ВН);
- глубиной резервирования внутри объекта;
- скоростью восстановления при авариях;
- устойчивостью распределительных схем к одиночным отказам (single failure points).
2. Надёжность внешнего электроснабжения
2.1. Топология сетей страны
В типовой энергосистеме используются три уровня:
- HV transmission (110–500 кВ) — кольцевая/ячеистая топология с генерацией сотен МВт.
- HV/MV sub-transmission (35–110 кВ) — преимущественно кольцевая схема питания подстанций.
- MV distribution (6–10–20 кВ) — открытые или частично кольцевые распределительные сети.
- LV distribution (0,4 кВ) — радиальные сети для конечных потребителей.
Кольцевые HV-сети в РФ имеют высокую устойчивость к одиночным отказам, но MV-сети часто работают в «квази-радиальном» режиме и дают основную часть кратковременных перерывов.
2.2. Типовые частоты отказов (по данным Schneider Electric / адаптация под РФ)
| Тип отказа | Подключение к MV | Подключение к HV |
|---|---|---|
| Региональное отключение >4 ч | 0,01–0,02/год | 0,01–0,02/год |
| Длительные отключения >3 мин | 0,5–5/год (в РФ в городах: 1–3/год) | 0,1/год |
| Короткие перерывы <3 мин | 0,5–20/год | 0,5–5/год |
| Глубокие провалы напряжения | 10–30/год | 5–15/год |
При подключении ЦОД к MV (6–10 кВ) вероятность кратких перерывов и провалов выше в 2–5 раз по сравнению с HV. Поэтому при мощностях >10 МВт в РФ рекомендуется HV-ввод 35–110 кВ.
2.3. Поведение сети при аварии
На HV-уровне (35–110–220 кВ):
- очистка КЗ за 100–200 мс без отключения большинства потребителей;
- при сложных авариях — переключения подстанций без потери питания;
- перезапуск после полного отключения занимает несколько часов.
На MV-уровне (6–10 кВ):
- ликвидация КЗ за 150–500 мс;
- возможны повторные автоматические включения (АПВ);
- восстановление питания требует поиска повреждённого участка.
3. Резервирование при кратковременных нарушениях
Для провалов/перерывов <3 мин применяется ИБП.
3.1. Технологии ИБП
| Тип ИБП | Особенности | Применение в ЦОД |
|---|---|---|
| Статические AC ИБП | Двойное преобразование, батареи, высокий КПД | 90% ЦОД, стандарт |
| Ротарные AC ИБП | Аккумуляция на маховике + генератор | Объекты >10 МВт, высокая кратковременная мощность |
| Статические DC ИБП | Переход на DC-распределение | Перспективные решения с высокой эффективностью |
| ИБП на уровне стойки | Актуально для edge / HPC | Децентрализация, снижение PDU-рисков |
Автономность ИБП определяется временем запуска ДГУ (8–15 с в РФ) и длительностью стабилизации частоты/напряжения.
4. Резервирование при длительных нарушениях
Длительные перерывы (>3 мин) покрываются дизель-генераторными установками (ДГУ).
4.1. Архитектура ДГУ
ДГУ → Автоматика запуска (PLC) → АВР/ATS → НН/СН щиты → ИТ-нагрузка
Полный запуск ДГУ в РФ: 8–12 с (пуск) + 5–10 с стабилизация → суммарно 10–20 секунд.
4.2. Особенности резервирования ДГУ
- резервирование по схеме N+1 или N+2;
- расход топлива 180–220 г/кВт·ч;
- объём аварийного резерва — минимум 8–12 ч при 75% нагрузки;
- дневные баки 1–2 ч → основная ёмкость в цистернах/резервуарах.
5. Внутренние архитектуры электроснабжения и топологии
Надёжность внутри ЦОД определяется топологией распределения.
5.1. Основные классы топологий
| Топология | Описание | Уровень надёжности | Комментарий |
|---|---|---|---|
| N | Нет резервирования | Низкий | Одиночный отказ вызывает останов ИТ |
| N+1 | Один резервный модуль | Средний | Один отказ не приводит к остановке |
| 2N | Полностью независимые цепочки A и B | Высокий | Нет общих точек отказа |
| N+N | Две активные цепочки одинаковой мощности | Очень высокий | Дороже 2N, лучше баланс нагрузки |
| Распределённая N+1 | Несколько систем, резерв равномерно распределён | Высокий | Оптимально для ЦОД 5–20 МВт |
| DRUPS | Ротарные ИБП+генератор в одном блоке | Высокий | Для крупных ЦОД, дорогая инфраструктура |
6. Подробный разбор топологий
6.1. Топология N (базовая)
Любой отказ приводит к отключению нагрузки. Применяется только в малых объектов или второстепенных зонах.
6.2. Топология 2N
Характеристики:
- два полностью независимых тракта питания А и B;
- два ввода, две секции РУ, две системы ИБП, два ДГУ-парка;
- каждая стойка имеет два ввода.
Преимущества:
- отсутствие единичных точек отказа;
- полная ремонтопригодность.
Недостатки:
- CAPEX +80–120%;
- повышенный OPEX за счёт удвоения оборудования.
6.3. Топология N+N
Разновидность 2N, где обе ветви активны. Преимущество — баланс нагрузки на 50/50 → сниженные потери.
6.4. Топология N+1 (блочная)
Каждый блок ИБП/ДГУ имеет один резерв. Если один блок выходит из строя — нагрузка распределяется на остальные.
Преимущества:
- оптимально для ЦОД 1–10 МВт;
- более низкая стоимость, чем 2N.
Недостатки:
- риск перегрузки при отказах нескольких элементов;
- сложная логика распределения нагрузок.
6.5. Распределённая топология N+1
Каждый ИБП обслуживает сегмент нагрузки и имеет резервную способность.
Преимущества:
- равномерное распределение риска;
- гибкость масштабирования;
- CAPEX ниже 2N на 30–40%.
Используется в ЦОД 5–20 МВт (в РФ — наиболее распространённая).
6.6. DRUPS (Diesel Rotary UPS)
Особенности:
- совмещает ИБП и роторный накопитель с ДГУ;
- высокая устойчивость к кратким помехам;
- часто используется в Tier III/IV ЦОД в Азии и Европе.
В РФ применяется редко из-за высокой стоимости и сложности обслуживания.
7. Ошибки при трактовке «полной отказоустойчивости»
Типичная ошибка пользователей — считать схему N+1 полной отказоустойчивой. Полная fault tolerance обеспечивается только архитектурами 2N или N+N.
8. Отключение одного тракта двойного питания
На практике заказчики требуют:
- возможность полного отключения тракта А без потери питания стойки;
- выполнение регламентов без уменьшения резервирования.
Это приводит к:
- удорожанию РУ (дополнительные обходные ячейки);
- увеличению трудозатрат на обслуживание;
- росту рисков при техническом обслуживании (отключение защиты, обходы).
9. Сравнение архитектур
| Топология | CAPEX | OPEX | Надёжность | Масштабируемость | Сложность эксплуатации |
|---|---|---|---|---|---|
| N | низкий | низкий | низкая | высокая | низкая |
| N+1 | средний | средний | средняя | высокая | средняя |
| 2N | высокий | высокий | высокая | средняя | высокая |
| N+N | очень высокий | высокий | очень высокая | средняя | высокая |
| N+1 распределённая | средний | средний | высокая | высокая | средняя |
| DRUPS | очень высокий | низкий | высокая | низкая | высокая |
Ключевые идеи
- Устойчивость внешней сети определяет выбор точки присоединения: MV для 1–10 МВт, HV для 10+ МВт.
- ИБП покрывают временной разрыв до запуска ДГУ.
- Для Tier III/IV фактически требуется 2N или распределённое N+1 с полной ликвидацией единичных точек отказа.
- Блочная N+1 — оптимальный баланс стоимости и надёжности для большинства проектов в РФ.
- DRUPS актуален только для крупных объектов (>20 МВт).
- Топология должна учитывать не только аварии, но и регламентные отключения — они создают до 60% рисков.