topics:25:case_facebook []

Эта страница только для чтения. Вы можете посмотреть её исходный текст, но не можете его изменить. Сообщите администратору, если считаете, что это неправильно.
====== Пример проектирования на основе практики Facebook ======
<WRAP box round>
Раздел описывает подход Facebook к построению электроснабжения ЦОД. Архитектура оптимизирована под масштабирование, минимизацию числа преобразований и исключение централизованных УПС при сохранении высокой надёжности.
</WRAP>


===== Концепция прямого питания ======

Facebook применяет принцип подачи питания к серверам по максимально короткой цепочке. Напряжение 277 В подаётся на стойки непосредственно от трансформатора без промежуточных низковольтных распределительных ступеней. Такой подход уменьшает токи, сокращает падение напряжения и снижает тепловые потери в кабелях.

Блоки питания серверов проектируются для работы на 277 В, что позволяет исключить традиционные понижающие трансформаторы 480→208 В и избежать дополнительного преобразования.


===== Отказ от централизованного УПС ======

<WRAP info>
Facebook исключил центральные УПС из архитектуры, чтобы убрать двойное преобразование и крупные батарейные установки.
</WRAP>

При этом резервирование не исчезает. Оно переносится «в глубину» зала — ближе к серверу. Вместо одной большой УПС-системы используются локальные DC-кабинеты с батареями 48 В, установленные рядом со стойками.

Каждый такой шкаф обеспечивает резерв только для своего сегмента. Это уменьшает влияние отказов и снижает требования к централизованной координации переключений.


===== Локальные DC-модули резервирования ======

DC-кабинеты выполняют функции локального источника бесперебойного питания. Они работают в режиме ожидания и подают 48 В в момент потери основного 277 В. Это позволяет обслуживать только тот сегмент, который нуждается в резерве, не затрагивая остальные стойки и системы.

Преимущества подхода:
  * минимальный путь резервирования;
  * отсутствие единой точки отказа;
  * простота обслуживания;
  * возможность масштабирования по мере роста ЦОД.


===== Блочная схема питания ======

Архитектура Facebook построена по блочному принципу. Несколько независимых систем питания обеспечивают различные группы стоек. Дополнительно существует резервный блок, который может взять на себя функции любого из основных.

Такое распределение нагрузки исключает каскадные отказы, характерные для классических 2N-схем. Каждая система изолирована и не влияет на другие в случае аварии.


===== Поведение при авариях ======

При пропадании внешнего питания стойки переходят на питание от DC-шкафов. Переключение выполняется без участия сложной автоматики. Авария в одном блоке питания не затрагивает соседние блоки. Резервная система может подхватить нагрузку отказавшего блока.

Эта архитектура исключает множественные точки синхронизации и уменьшает вероятность ошибок в логике переключений.


===== Эффект на стоимость и эффективность ======

Отсутствие центральных УПС и пониженных ступеней распределения снижает капитальные затраты. Уменьшается объём помещений, количество шкафов, длина кабельных трасс и тепловыделение.

Потери энергии уменьшаются за счёт отсутствия двойного преобразования и сокращения токов при работе на 277 В.


===== Ключевые идеи ======
<WRAP tip>
  * Питание серверов осуществляется напрямую от 277 В.  
  * Резервирование реализовано локально через DC-кабинеты.  
  * Блочная структура питания исключает каскадные отказы.  
  * Минимизация преобразований уменьшает потери и повышает эффективность.  
  * Архитектура спроектирована для масштабирования в условиях гипер-масштаба.
</WRAP>

===== Возможность реализации подхода Facebook в условиях РФ ======
<WRAP box round>
Архитектура Facebook построена на прямом питании 277 В AC и локальном резервировании через DC-кабинеты. Ниже приведён анализ применимости такой схемы в российских условиях: нормативные ограничения, доступность оборудования, особенности энергосистем и возможные адаптации.
</WRAP>


===== Инженерные и нормативные ограничения ======

<WRAP important>
Основная трудность внедрения архитектуры Facebook в РФ — отсутствие массового серверного оборудования, рассчитанного на работу от 277 В AC. Российская нормативная база допускает использование такого напряжения, но промышленного рынка под него нет.
</WRAP>

==== Напряжение 277 В в контексте ПУЭ ====
* ПУЭ не запрещает питание 277 В между фазой и нейтралью при системах 480/277 В (актуально для импортного оборудования), но российская промышленность исторически работает в пятидесятигерцовой системе 400/230 В.  
* В РФ практически отсутствуют трансформаторы 6/0,277 кВ или 10/0,277 кВ, за редкими исключениями поставок по спецпроектам.

==== Доступность серверных БП ====
* Российский рынок серверов (Huawei, Lenovo, HPE, Dell, Yadro) ориентирован на диапазон 190–240 В AC.  
* Производство массовых БП на 277 В отсутствует.  

Вывод: **для полного копирования схемы Facebook необходимо внедрение специализированных блоков питания**, которые в РФ не представлены.

==== Ограничения по электроустановкам ====
* ПУЭ требует жёсткого соблюдения классов поражения электроустановок, что повышает требования к изоляции и конструктиву, если напряжение выше 250 В линейно-фазного.  
* Линии 277 В могут потребовать дополнительных мер электробезопасности.


===== Практическая адаптация под российский рынок ======

<WRAP info>
Несмотря на отсутствие полного оборудования для копирования оригинальной архитектуры Facebook, её принципы можно адаптировать к российским условиям.
</WRAP>

==== 1. Использование 230 В в качестве прямого питания ====
Вместо 277 В возможно создание архитектуры:
  * трансформатор 20/0,4 кВ → 400/230 В,  
  * подача 230 В напрямую в стойки,  
  * минимальное количество ступеней распределения.

Это уменьшает потери и снижает число преобразований, хотя эффективность будет ниже, чем у 277 В.

==== 2. Упрощение LV-распределения ====
* Использовать минимальное число распределительных шкафов между трансформатором и стойками.  
* Перейти на шинотрассы без промежуточных шкафов.  
* Уменьшить количество автоматов и точек коммутации.  
* Обеспечить прямую подачу A/B на PDU без промежуточных секций.

Такой подход снижает CAPEX и уменьшает риски отказов.

==== 3. Локальное резервирование на DC, но на 48 В ====
Facebook использует 48 В — это стандартный уровень DC, который активно применяется и в РФ.

Возможности реализации:
  * выполнить резервирование через стоечные DC-модули;  
  * использовать батарейные блоки с Li-ion для высокой плотности;  
  * интегрировать их в PDU или в отдельные боксы в rittal-шкафах;  
  * применять 48-вольтовые шины на уровне ряда.

Требования ПУЭ допускают такие системы при выполнении норм пожарной и электрической безопасности.

==== 4. Блочное резервирование ====
Подход Facebook можно воспроизвести в РФ следующим образом:
  * разделить нагрузку на группы (блоки) по 0,5–1,5 МВт,  
  * для каждого блока использовать собственные UPS или DC-резерв,  
  * добавить один резервный блок питания равной мощности,  
  * обеспечить независимость трасс и кабельных путей.

Такой способ заметно снижает стоимость по сравнению с 2N, но сохраняет отказоустойчивость.

==== 5. Применение 400/48 В архитектуры на стойках ====
На российском рынке доступны:
  * DC-конверторы 400→48 В,  
  * блоки распределения 48 В на серверы,  
  * оборудование для телеком и edge-ЦОД.

Это позволяет строить гибридные залы, совмещающие:
  * AC-питание 230 В для стандартных серверов,  
  * DC-резерв 48 В для критичных стоек.


===== Оптимизация и выгоды в российских условиях ======

==== Сокращение преобразований ====
Можно сократить:
  * количество UPS,  
  * количество распределительных шкафов,  
  * длину низковольтных кабелей.

Это снижает CAPEX и уменьшает PUE.

==== Упрощение логики аварийного питания ====
При резервировании на уровне стоек исчезает необходимость:
  * в крупном STS,  
  * в централизованных батарейных комнатах,  
  * в сложной координации защит.

==== Гибкость масштабирования ====
Подход Facebook позволяет строить ЦОД, вводя мощности постепенно:
  * добавлять DC-модули по мере установки стоек,  
  * не переразмеривать трансформаторы,  
  * не создавать «заводские» УПС-комнаты на старте.

Это особенно важно в РФ, где загрузка ЦОД растёт поэтапно.


===== Технические ограничения реализации в РФ ======

<WRAP important>
Полная реализация схемы Facebook в РФ невозможна без локального производства или импорта серверов, рассчитанных на 277 В AC.
</WRAP>

Другие ограничения:
  * необходимость разработки новых БП серверов;  
  * отсутствие на рынке DC-силовой инфраструктуры уровня OCP;  
  * необходимость адаптации пожарных и кабельных стандартов под нестандартные напряжения;  
  * возможные сложности экспертизы проектной документации.


===== Реалистичная архитектура для РФ на основе принципов Facebook ======

<WRAP tip>
Ниже представлена схема, которая сохраняет ключевые идеи Facebook и может быть реализована с доступным в РФ оборудованием.
</WRAP>

**1. Подача 230 В напрямую в стойки**  
Минимизация уровней распределения и коммутаций.

**2. Локальные DC-модули 48 В**  
Резервирование на уровне стойки или ряда, работа через Li-ion.

**3. Блочная структура**  
Каждый зал разделён на независимые блоки питания с резервом 1 блок на несколько рабочих.

**4. Минимизация UPS**  
Переход от централизованных УПС к распределённым малым системам.

**5. Нагрузка на MV**  
Генераторы и трансформаторы на MV для снижения токов КЗ.


===== Вывод ======
<WRAP tip>
  * Полная копия схемы Facebook невозможна из-за отсутствия оборудования на 277 В и нормативных ограничений.  
  * Принципы Facebook — минимизация преобразований, локальный резерв, блочная структура — полностью применимы в России.  
  * Реалистичная адаптация: 230 В прямое питание, локальные 48 В DC-модули, минимизация УПС, блочная архитектура.  
  * Такой подход уменьшает CAPEX и повышает отказоустойчивость, сохраняя совместимость с ПУЭ, СП и ГОСТами.
</WRAP>