Раздел описывает подход Facebook к построению электроснабжения ЦОД. Архитектура оптимизирована под масштабирование, минимизацию числа преобразований и исключение централизованных УПС при сохранении высокой надёжности.
Facebook применяет принцип подачи питания к серверам по максимально короткой цепочке. Напряжение 277 В подаётся на стойки непосредственно от трансформатора без промежуточных низковольтных распределительных ступеней. Такой подход уменьшает токи, сокращает падение напряжения и снижает тепловые потери в кабелях.
Блоки питания серверов проектируются для работы на 277 В, что позволяет исключить традиционные понижающие трансформаторы 480→208 В и избежать дополнительного преобразования.
Facebook исключил центральные УПС из архитектуры, чтобы убрать двойное преобразование и крупные батарейные установки.
При этом резервирование не исчезает. Оно переносится «в глубину» зала — ближе к серверу. Вместо одной большой УПС-системы используются локальные DC-кабинеты с батареями 48 В, установленные рядом со стойками.
Каждый такой шкаф обеспечивает резерв только для своего сегмента. Это уменьшает влияние отказов и снижает требования к централизованной координации переключений.
DC-кабинеты выполняют функции локального источника бесперебойного питания. Они работают в режиме ожидания и подают 48 В в момент потери основного 277 В. Это позволяет обслуживать только тот сегмент, который нуждается в резерве, не затрагивая остальные стойки и системы.
Преимущества подхода:
Архитектура Facebook построена по блочному принципу. Несколько независимых систем питания обеспечивают различные группы стоек. Дополнительно существует резервный блок, который может взять на себя функции любого из основных.
Такое распределение нагрузки исключает каскадные отказы, характерные для классических 2N-схем. Каждая система изолирована и не влияет на другие в случае аварии.
При пропадании внешнего питания стойки переходят на питание от DC-шкафов. Переключение выполняется без участия сложной автоматики. Авария в одном блоке питания не затрагивает соседние блоки. Резервная система может подхватить нагрузку отказавшего блока.
Эта архитектура исключает множественные точки синхронизации и уменьшает вероятность ошибок в логике переключений.
Отсутствие центральных УПС и пониженных ступеней распределения снижает капитальные затраты. Уменьшается объём помещений, количество шкафов, длина кабельных трасс и тепловыделение.
Потери энергии уменьшаются за счёт отсутствия двойного преобразования и сокращения токов при работе на 277 В.
Архитектура Facebook построена на прямом питании 277 В AC и локальном резервировании через DC-кабинеты. Ниже приведён анализ применимости такой схемы в российских условиях: нормативные ограничения, доступность оборудования, особенности энергосистем и возможные адаптации.
Основная трудность внедрения архитектуры Facebook в РФ — отсутствие массового серверного оборудования, рассчитанного на работу от 277 В AC. Российская нормативная база допускает использование такого напряжения, но промышленного рынка под него нет.
* ПУЭ не запрещает питание 277 В между фазой и нейтралью при системах 480/277 В (актуально для импортного оборудования), но российская промышленность исторически работает в пятидесятигерцовой системе 400/230 В. * В РФ практически отсутствуют трансформаторы 6/0,277 кВ или 10/0,277 кВ, за редкими исключениями поставок по спецпроектам.
* Российский рынок серверов (Huawei, Lenovo, HPE, Dell, Yadro) ориентирован на диапазон 190–240 В AC. * Производство массовых БП на 277 В отсутствует.
Вывод: для полного копирования схемы Facebook необходимо внедрение специализированных блоков питания, которые в РФ не представлены.
* ПУЭ требует жёсткого соблюдения классов поражения электроустановок, что повышает требования к изоляции и конструктиву, если напряжение выше 250 В линейно-фазного. * Линии 277 В могут потребовать дополнительных мер электробезопасности.
Несмотря на отсутствие полного оборудования для копирования оригинальной архитектуры Facebook, её принципы можно адаптировать к российским условиям.
Вместо 277 В возможно создание архитектуры:
Это уменьшает потери и снижает число преобразований, хотя эффективность будет ниже, чем у 277 В.
* Использовать минимальное число распределительных шкафов между трансформатором и стойками. * Перейти на шинотрассы без промежуточных шкафов. * Уменьшить количество автоматов и точек коммутации. * Обеспечить прямую подачу A/B на PDU без промежуточных секций.
Такой подход снижает CAPEX и уменьшает риски отказов.
Facebook использует 48 В — это стандартный уровень DC, который активно применяется и в РФ.
Возможности реализации:
Требования ПУЭ допускают такие системы при выполнении норм пожарной и электрической безопасности.
Подход Facebook можно воспроизвести в РФ следующим образом:
Такой способ заметно снижает стоимость по сравнению с 2N, но сохраняет отказоустойчивость.
На российском рынке доступны:
Это позволяет строить гибридные залы, совмещающие:
Можно сократить:
Это снижает CAPEX и уменьшает PUE.
При резервировании на уровне стоек исчезает необходимость:
Подход Facebook позволяет строить ЦОД, вводя мощности постепенно:
Это особенно важно в РФ, где загрузка ЦОД растёт поэтапно.
Полная реализация схемы Facebook в РФ невозможна без локального производства или импорта серверов, рассчитанных на 277 В AC.
Другие ограничения:
Ниже представлена схема, которая сохраняет ключевые идеи Facebook и может быть реализована с доступным в РФ оборудованием.
1. Подача 230 В напрямую в стойки Минимизация уровней распределения и коммутаций.
2. Локальные DC-модули 48 В Резервирование на уровне стойки или ряда, работа через Li-ion.
3. Блочная структура Каждый зал разделён на независимые блоки питания с резервом 1 блок на несколько рабочих.
4. Минимизация UPS Переход от централизованных УПС к распределённым малым системам.
5. Нагрузка на MV Генераторы и трансформаторы на MV для снижения токов КЗ.