Это старая версия документа!

Содержание

Пример проектирования на основе практики Facebook

Пример проектирования на основе практики Facebook

Раздел описывает инженерные решения, применяемые при проектировании крупных ЦОД Facebook. Архитектура направлена на уменьшение числа преобразований напряжения, сокращение потерь, упрощение распределения питания и повышение масштабирумости без применения централизованных УПС.

Архитектура цепей питания

Концепция построена на прямой подаче переменного тока 277 В к серверным блокам питания и локальном резервировании через DC-шкафы. Центральные УПС отсутствуют.

Основные элементы

Питание серверов от сети 480/277 В.
Смешанные нагрузки: оборудование, рассчитанное на 208 В и 277 В.
Поддержка одношнуровых и двухшнуровых серверов.
Минимизация длины низковольтных цепей и числа коммутационных ступеней.
Использование стандартов OCP.

Принцип построения

Напряжение 277 В подводится к стойкам напрямую.
Резерв подаётся от отдельных DC-кабинетов 48 В.
Внутри серверов выполняется преобразование 48 В → 12 В.
Питание и резерв разведены физически: AC-тракт и DC-тракт независимы.

Отказ от централизованных УПС

Причины отказа

Удаление ступени AC→DC→AC уменьшает суммарные потери.
Устраняется необходимость в крупных батарейных помещениях.
Минимизируются площади под УПС-комнаты, вентиляцию и охлаждение.
Исключаются сценарии общей потери УПС-ветви при единичном отказе.

Воздействие на архитектуру

Уменьшение количества LV-распределительных шкафов.
Устранение центральных статических байпасов.
Повышение энергоэффективности цепей питания.

Питание 277 В переменного тока

Причины применения 277 В

Снижение токов нагрузки при той же мощности.
Уменьшение падений напряжения.
Уменьшение тепловых потерь в кабелях.
Исключение преобразования 480→208 В.

Техническая реализация

Трансформаторы 480/277 В.
Серверные БП рассчитаны на работу в диапазоне AC 200–277 В.
Одна ступень преобразования: AC 277 В → DC внутри БП.

Локальное резервирование через DC-кабинеты

Структура DC-резерва

Батарейные модули 48 В.
Контроллер зарядки и коммутации.
Выделенная DC-шина на ряд стойк.
Переход на DC под нагрузкой при потере AC.

Функции DC-шкафа

Подача резерва на уровне одной стойки или одного ряда стойк.
Автономная диагностика и мониторинг.
Масштабирование по мере увеличения количества стоек.

Отличия от централизованных УПС

Уменьшенная мощность и количество батарей в одном модуле.
Простое обслуживание.
Устойчивость к локальным отказам.

Блочная схема резервирования

Сущность подхода

IT-нагрузка разделена на несколько блоков, каждый с собственной системой питания.
Резервная система может поддерживать любой блок при отказе.
Удалены общие точки отказа между блоками.

Влияние на отказоустойчивость

Отказ одного блока не влияет на остальные.
Перегрузка резервной системы предотвращается балансировкой нагрузки между блоками.
Объём резервирования определяется количеством блоков и мощностью резервной шины.

Архитектура машинного зала

Состав элементов

Линии распределения 277 В вдоль рядов.
Стойки, адаптированные под 277 В.
DC-шкафы с 48-вольтовыми батареями.
Минимальное количество распределительных щитов.

Особенности планировки

Короткие трассы питания.
Ограничение количества переходов на LV-уровне.
Ограничение количества соединений между шкафами.

Работа при авариях

Потеря внешнего питания

Обрыв 277 В фиксируется на уровне стойки.
DC-шкаф подаёт 48 В к стойкам, к которым он привязан.
Переключение выполняется без перемещения нагрузки на соседние шины.

Сценарии отказов AC-тракта

Выход из строя одной AC-ветви → переход стойки на DC.
Отказ одного блока питания сервера → работа от второго ввода или DC.

Отказ блочной системы питания

Резервный блок подхватывает нагрузку отказавшей группы.
Перегрузка предотвращается распределением мощности между блоками.

Эффект на потери и себестоимость

Снижение потерь

Исключение двух преобразований AC/DC/AC.
Уменьшение длины AC-линий.
Уменьшение тепловой нагрузки.
Уменьшение потерь в LV-распределении.

Снижение CAPEX

Нет помещений под УПС.
Нет центральных батарейных систем.
Меньше LV-коммутационной аппаратуры.
Меньше вентиляции и охлаждения для УПС-зон.

Снижение OPEX

Минимум оборудования, требующего регулярных тестов.
Меньше тепла в машинном зале.
Отсутствие сложных сценариев переключений между А и B через УПС.

Ключевые выводы

Архитектура Facebook устраняет централизованный УПС и распределение 208 В.
Основное питание — 277 В AC, резерв — 48 В DC на уровне стойки.
Блочная структура питания исключает крупные отказовые события.
Система уменьшает число преобразований и снижает тепловые и электрические потери.
Подход обеспечивает высокую масштабируемость при минимальной сложности электрической инфраструктуры.