Пример проектирования на основе практики Facebook

Раздел описывает подход Facebook к построению электроснабжения ЦОД. Архитектура оптимизирована под масштабирование, минимизацию числа преобразований и исключение централизованных УПС при сохранении высокой надёжности.

Концепция прямого питания

Facebook применяет принцип подачи питания к серверам по максимально короткой цепочке. Напряжение 277 В подаётся на стойки непосредственно от трансформатора без промежуточных низковольтных распределительных ступеней. Такой подход уменьшает токи, сокращает падение напряжения и снижает тепловые потери в кабелях.

Блоки питания серверов проектируются для работы на 277 В, что позволяет исключить традиционные понижающие трансформаторы 480→208 В и избежать дополнительного преобразования.

Отказ от централизованного УПС

Facebook исключил центральные УПС из архитектуры, чтобы убрать двойное преобразование и крупные батарейные установки.

При этом резервирование не исчезает. Оно переносится «в глубину» зала — ближе к серверу. Вместо одной большой УПС-системы используются локальные DC-кабинеты с батареями 48 В, установленные рядом со стойками.

Каждый такой шкаф обеспечивает резерв только для своего сегмента. Это уменьшает влияние отказов и снижает требования к централизованной координации переключений.

Локальные DC-модули резервирования

DC-кабинеты выполняют функции локального источника бесперебойного питания. Они работают в режиме ожидания и подают 48 В в момент потери основного 277 В. Это позволяет обслуживать только тот сегмент, который нуждается в резерве, не затрагивая остальные стойки и системы.

Преимущества подхода:

минимальный путь резервирования;
отсутствие единой точки отказа;
простота обслуживания;
возможность масштабирования по мере роста ЦОД.

Блочная схема питания

Архитектура Facebook построена по блочному принципу. Несколько независимых систем питания обеспечивают различные группы стоек. Дополнительно существует резервный блок, который может взять на себя функции любого из основных.

Такое распределение нагрузки исключает каскадные отказы, характерные для классических 2N-схем. Каждая система изолирована и не влияет на другие в случае аварии.

Поведение при авариях

При пропадании внешнего питания стойки переходят на питание от DC-шкафов. Переключение выполняется без участия сложной автоматики. Авария в одном блоке питания не затрагивает соседние блоки. Резервная система может подхватить нагрузку отказавшего блока.

Эта архитектура исключает множественные точки синхронизации и уменьшает вероятность ошибок в логике переключений.

Эффект на стоимость и эффективность

Отсутствие центральных УПС и пониженных ступеней распределения снижает капитальные затраты. Уменьшается объём помещений, количество шкафов, длина кабельных трасс и тепловыделение.

Потери энергии уменьшаются за счёт отсутствия двойного преобразования и сокращения токов при работе на 277 В.

Ключевые идеи

Питание серверов осуществляется напрямую от 277 В.
Резервирование реализовано локально через DC-кабинеты.
Блочная структура питания исключает каскадные отказы.
Минимизация преобразований уменьшает потери и повышает эффективность.
Архитектура спроектирована для масштабирования в условиях гипер-масштаба.