Различия

Показаны различия между двумя версиями страницы.

--- topics:25:case_facebook [2025/11/19 20:37] – создано admin
+++ topics:25:case_facebook [2025/11/21 17:15] (текущий) – admin
@@ Строка 1: / Строка 1: @@
 ====== Пример проектирования на основе практики Facebook ======
 <WRAP box round>
-Раздел описывает инженерные решения, применяемые при проектировании крупных ЦОД Facebook. Архитектура направлена на уменьшение числа преобразований напряжения, сокращение потерь, упрощение распределения питания и повышение масштабирумости без применения централизованных УПС.
+Раздел описывает подход Facebook к построению электроснабжения ЦОД. Архитектура оптимизирована под масштабирование, минимизацию числа преобразований и исключение централизованных УПС при сохранении высокой надёжности.
 </WRAP>
-===== Архитектура цепей питания ======
+===== Концепция прямого питания ======
+Facebook применяет принцип подачи питания к серверам по максимально короткой цепочке. Напряжение 277 В подаётся на стойки непосредственно от трансформатора без промежуточных низковольтных распределительных ступеней. Такой подход уменьшает токи, сокращает падение напряжения и снижает тепловые потери в кабелях.
+Блоки питания серверов проектируются для работы на 277 В, что позволяет исключить традиционные понижающие трансформаторы 480→208 В и избежать дополнительного преобразования.
+===== Отказ от централизованного УПС ======
 <WRAP info>
-Концепция построена на прямой подаче переменного тока 277 В к серверным блокам питания и локальном резервировании через DC-шкафы. Центральные УПС отсутствуют.
+Facebook исключил центральные УПС из архитектуры, чтобы убрать двойное преобразование и крупные батарейные установки.
 </WRAP>
-==== Основные элементы ====
+При этом резервирование не исчезает. Оно переносится «в глубину» зала — ближе к серверу. Вместо одной большой УПС-системы используются локальные DC-кабинеты с батареями 48 В, установленные рядом со стойками.
-  * Питание серверов от сети 480/277 В.
-  * Смешанные нагрузки: оборудование, рассчитанное на 208 В и 277 В.
-  * Поддержка одношнуровых и двухшнуровых серверов.
-  * Минимизация длины низковольтных цепей и числа коммутационных ступеней.
-  * Использование стандартов OCP.
-==== Принцип построения ====
+Каждый такой шкаф обеспечивает резерв только для своего сегмента. Это уменьшает влияние отказов и снижает требования к централизованной координации переключений.
-  * Напряжение 277 В подводится к стойкам напрямую.
-  * Резерв подаётся от отдельных DC-кабинетов 48 В.
-  * Внутри серверов выполняется преобразование 48 В → 12 В.
-  * Питание и резерв разведены физически: AC-тракт и DC-тракт независимы.
-===== Отказ от централизованных УПС ======
+===== Локальные DC-модули резервирования ======
-==== Причины отказа ====
+DC-кабинеты выполняют функции локального источника бесперебойного питания. Они работают в режиме ожидания и подают 48 В в момент потери основного 277 В. Это позволяет обслуживать только тот сегмент, который нуждается в резерве, не затрагивая остальные стойки и системы.
-  * Удаление ступени AC→DC→AC уменьшает суммарные потери.
-  * Устраняется необходимость в крупных батарейных помещениях.
-  * Минимизируются площади под УПС-комнаты, вентиляцию и охлаждение.
-  * Исключаются сценарии общей потери УПС-ветви при единичном отказе.
-==== Воздействие на архитектуру ====
+Преимущества подхода:
-  * Уменьшение количества LV-распределительных шкафов.
+  * минимальный путь резервирования;
-  * Устранение центральных статических байпасов.
+  * отсутствие единой точки отказа;
-  * Повышение энергоэффективности цепей питания.
+  * простота обслуживания;
+  * возможность масштабирования по мере роста ЦОД.
-===== Питание 277 В переменного тока ======
+===== Блочная схема питания ======
-==== Причины применения 277 В ====
+Архитектура Facebook построена по блочному принципу. Несколько независимых систем питания обеспечивают различные группы стоек. Дополнительно существует резервный блок, который может взять на себя функции любого из основных.
-  * Снижение токов нагрузки при той же мощности.
-  * Уменьшение падений напряжения.
-  * Уменьшение тепловых потерь в кабелях.
-  * Исключение преобразования 480→208 В.
-==== Техническая реализация ====
+Такое распределение нагрузки исключает каскадные отказы, характерные для классических 2N-схем. Каждая система изолирована и не влияет на другие в случае аварии.
-  * Трансформаторы 480/277 В.
-  * Серверные БП рассчитаны на работу в диапазоне AC 200–277 В.
-  * Одна ступень преобразования: AC 277 В → DC внутри БП.
-===== Локальное резервирование через DC-кабинеты ======
+===== Поведение при авариях ======
-==== Структура DC-резерва ====
+При пропадании внешнего питания стойки переходят на питание от DC-шкафов. Переключение выполняется без участия сложной автоматики. Авария в одном блоке питания не затрагивает соседние блоки. Резервная система может подхватить нагрузку отказавшего блока.
-  * Батарейные модули 48 В.
-  * Контроллер зарядки и коммутации.
-  * Выделенная DC-шина на ряд стойк.
-  * Переход на DC под нагрузкой при потере AC.
-==== Функции DC-шкафа ====
+Эта архитектура исключает множественные точки синхронизации и уменьшает вероятность ошибок в логике переключений.
-  * Подача резерва на уровне одной стойки или одного ряда стойк.
-  * Автономная диагностика и мониторинг.
-  * Масштабирование по мере увеличения количества стоек.
-==== Отличия от централизованных УПС ====
-  * Уменьшенная мощность и количество батарей в одном модуле.
-  * Простое обслуживание.
-  * Устойчивость к локальным отказам.
+===== Эффект на стоимость и эффективность ======
-===== Блочная схема резервирования ======
+Отсутствие центральных УПС и пониженных ступеней распределения снижает капитальные затраты. Уменьшается объём помещений, количество шкафов, длина кабельных трасс и тепловыделение.
-==== Сущность подхода ======
+Потери энергии уменьшаются за счёт отсутствия двойного преобразования и сокращения токов при работе на 277 В.
-  * IT-нагрузка разделена на несколько блоков, каждый с собственной системой питания.
-  * Резервная система может поддерживать любой блок при отказе.
-  * Удалены общие точки отказа между блоками.
-==== Влияние на отказоустойчивость ====
-  * Отказ одного блока не влияет на остальные.
-  * Перегрузка резервной системы предотвращается балансировкой нагрузки между блоками.
-  * Объём резервирования определяется количеством блоков и мощностью резервной шины.
+===== Ключевые идеи ======
+<WRAP tip>
+  * Питание серверов осуществляется напрямую от 277 В.
+  * Резервирование реализовано локально через DC-кабинеты.
+  * Блочная структура питания исключает каскадные отказы.
+  * Минимизация преобразований уменьшает потери и повышает эффективность.
+  * Архитектура спроектирована для масштабирования в условиях гипер-масштаба.
+</WRAP>
-===== Архитектура машинного зала ======
+===== Возможность реализации подхода Facebook в условиях РФ ======
+<WRAP box round>
+Архитектура Facebook построена на прямом питании 277 В AC и локальном резервировании через DC-кабинеты. Ниже приведён анализ применимости такой схемы в российских условиях: нормативные ограничения, доступность оборудования, особенности энергосистем и возможные адаптации.
+</WRAP>
-==== Состав элементов ====
-  * Линии распределения 277 В вдоль рядов.
-  * Стойки, адаптированные под 277 В.
-  * DC-шкафы с 48-вольтовыми батареями.
-  * Минимальное количество распределительных щитов.
-==== Особенности планировки ====
+===== Инженерные и нормативные ограничения ======
-  * Короткие трассы питания.
-  * Ограничение количества переходов на LV-уровне.
-  * Ограничение количества соединений между шкафами.
+<WRAP important>
+Основная трудность внедрения архитектуры Facebook в РФ — отсутствие массового серверного оборудования, рассчитанного на работу от 277 В AC. Российская нормативная база допускает использование такого напряжения, но промышленного рынка под него нет.
+</WRAP>
-===== Работа при авариях ======
+==== Напряжение 277 В в контексте ПУЭ ====
+* ПУЭ не запрещает питание 277 В между фазой и нейтралью при системах 480/277 В (актуально для импортного оборудования), но российская промышленность исторически работает в пятидесятигерцовой системе 400/230 В.
+* В РФ практически отсутствуют трансформаторы 6/0,277 кВ или 10/0,277 кВ, за редкими исключениями поставок по спецпроектам.
-==== Потеря внешнего питания ====
+==== Доступность серверных БП ====
-  * Обрыв 277 В фиксируется на уровне стойки.
+* Российский рынок серверов (Huawei, Lenovo, HPE, Dell, Yadro) ориентирован на диапазон 190–240 В AC.
-  * DC-шкаф подаёт 48 В к стойкам, к которым он привязан.
+* Производство массовых БП на 277 В отсутствует.
-  * Переключение выполняется без перемещения нагрузки на соседние шины.
-==== Сценарии отказов AC-тракта ====
+Вывод: **для полного копирования схемы Facebook необходимо внедрение специализированных блоков питания**, которые в РФ не представлены.
-  * Выход из строя одной AC-ветви → переход стойки на DC.
-  * Отказ одного блока питания сервера → работа от второго ввода или DC.
-==== Отказ блочной системы питания ====
+==== Ограничения по электроустановкам ====
-  * Резервный блок подхватывает нагрузку отказавшей группы.
+* ПУЭ требует жёсткого соблюдения классов поражения электроустановок, что повышает требования к изоляции и конструктиву, если напряжение выше 250 В линейно-фазного.
-  * Перегрузка предотвращается распределением мощности между блоками.
+* Линии 277 В могут потребовать дополнительных мер электробезопасности.
-===== Эффект на потери и себестоимость ======
+===== Практическая адаптация под российский рынок ======
-==== Снижение потерь ====
+<WRAP info>
-  * Исключение двух преобразований AC/DC/AC.
+Несмотря на отсутствие полного оборудования для копирования оригинальной архитектуры Facebook, её принципы можно адаптировать к российским условиям.
-  * Уменьшение длины AC-линий.
+</WRAP>
-  * Уменьшение тепловой нагрузки.
-  * Уменьшение потерь в LV-распределении.
-==== Снижение CAPEX ====
+==== 1. Использование 230 В в качестве прямого питания ====
-  * Нет помещений под УПС.
+Вместо 277 В возможно создание архитектуры:
-  * Нет центральных батарейных систем.
+  * трансформатор 20/0,4 кВ → 400/230 В,
-  * Меньше LV-коммутационной аппаратуры.
+  * подача 230 В напрямую в стойки,
-  * Меньше вентиляции и охлаждения для УПС-зон.
+  * минимальное количество ступеней распределения.
-==== Снижение OPEX ====
+Это уменьшает потери и снижает число преобразований, хотя эффективность будет ниже, чем у 277 В.
-  * Минимум оборудования, требующего регулярных тестов.
-  * Меньше тепла в машинном зале.
-  * Отсутствие сложных сценариев переключений между А и B через УПС.
+==== 2. Упрощение LV-распределения ====
+* Использовать минимальное число распределительных шкафов между трансформатором и стойками.
+* Перейти на шинотрассы без промежуточных шкафов.
+* Уменьшить количество автоматов и точек коммутации.
+* Обеспечить прямую подачу A/B на PDU без промежуточных секций.
+Такой подход снижает CAPEX и уменьшает риски отказов.
+==== 3. Локальное резервирование на DC, но на 48 В ====
+Facebook использует 48 В — это стандартный уровень DC, который активно применяется и в РФ.
+Возможности реализации:
+  * выполнить резервирование через стоечные DC-модули;
+  * использовать батарейные блоки с Li-ion для высокой плотности;
+  * интегрировать их в PDU или в отдельные боксы в rittal-шкафах;
+  * применять 48-вольтовые шины на уровне ряда.
+Требования ПУЭ допускают такие системы при выполнении норм пожарной и электрической безопасности.
+==== 4. Блочное резервирование ====
+Подход Facebook можно воспроизвести в РФ следующим образом:
+  * разделить нагрузку на группы (блоки) по 0,5–1,5 МВт,
+  * для каждого блока использовать собственные UPS или DC-резерв,
+  * добавить один резервный блок питания равной мощности,
+  * обеспечить независимость трасс и кабельных путей.
+Такой способ заметно снижает стоимость по сравнению с 2N, но сохраняет отказоустойчивость.
+==== 5. Применение 400/48 В архитектуры на стойках ====
+На российском рынке доступны:
+  * DC-конверторы 400→48 В,
+  * блоки распределения 48 В на серверы,
+  * оборудование для телеком и edge-ЦОД.
+Это позволяет строить гибридные залы, совмещающие:
+  * AC-питание 230 В для стандартных серверов,
+  * DC-резерв 48 В для критичных стоек.
+===== Оптимизация и выгоды в российских условиях ======
+==== Сокращение преобразований ====
+Можно сократить:
+  * количество UPS,
+  * количество распределительных шкафов,
+  * длину низковольтных кабелей.
+Это снижает CAPEX и уменьшает PUE.
+==== Упрощение логики аварийного питания ====
+При резервировании на уровне стоек исчезает необходимость:
+  * в крупном STS,
+  * в централизованных батарейных комнатах,
+  * в сложной координации защит.
+==== Гибкость масштабирования ====
+Подход Facebook позволяет строить ЦОД, вводя мощности постепенно:
+  * добавлять DC-модули по мере установки стоек,
+  * не переразмеривать трансформаторы,
+  * не создавать «заводские» УПС-комнаты на старте.
+Это особенно важно в РФ, где загрузка ЦОД растёт поэтапно.
+===== Технические ограничения реализации в РФ ======
+<WRAP important>
+Полная реализация схемы Facebook в РФ невозможна без локального производства или импорта серверов, рассчитанных на 277 В AC.
+</WRAP>
+Другие ограничения:
+  * необходимость разработки новых БП серверов;
+  * отсутствие на рынке DC-силовой инфраструктуры уровня OCP;
+  * необходимость адаптации пожарных и кабельных стандартов под нестандартные напряжения;
+  * возможные сложности экспертизы проектной документации.
+===== Реалистичная архитектура для РФ на основе принципов Facebook ======
-===== Ключевые выводы ======
 <WRAP tip>
-  * Архитектура Facebook устраняет централизованный УПС и распределение 208 В.
+Ниже представлена схема, которая сохраняет ключевые идеи Facebook и может быть реализована с доступным в РФ оборудованием.
-  * Основное питание — 277 В AC, резерв — 48 В DC на уровне стойки.
-  * Блочная структура питания исключает крупные отказовые события.
-  * Система уменьшает число преобразований и снижает тепловые и электрические потери.
-  * Подход обеспечивает высокую масштабируемость при минимальной сложности электрической инфраструктуры.
 </WRAP>
+**1. Подача 230 В напрямую в стойки**
+Минимизация уровней распределения и коммутаций.
+**2. Локальные DC-модули 48 В**
+Резервирование на уровне стойки или ряда, работа через Li-ion.
+**3. Блочная структура**
+Каждый зал разделён на независимые блоки питания с резервом 1 блок на несколько рабочих.
+**4. Минимизация UPS**
+Переход от централизованных УПС к распределённым малым системам.
+**5. Нагрузка на MV**
+Генераторы и трансформаторы на MV для снижения токов КЗ.
+===== Вывод ======
+<WRAP tip>
+  * Полная копия схемы Facebook невозможна из-за отсутствия оборудования на 277 В и нормативных ограничений.
+  * Принципы Facebook — минимизация преобразований, локальный резерв, блочная структура — полностью применимы в России.
+  * Реалистичная адаптация: 230 В прямое питание, локальные 48 В DC-модули, минимизация УПС, блочная архитектура.
+  * Такой подход уменьшает CAPEX и повышает отказоустойчивость, сохраняя совместимость с ПУЭ, СП и ГОСТами.
+</WRAP>