21 октября 2026Команда Сарнас

Как устроен гигаваттный ИИ-кластер Meta: железо, сеть, домен отказа и питание

Статья разбирает архитектуру гигаваттного кластера Meta Prometheus — от NVLink-доменов внутри стойки до агрегационной сети между зданиями — и показывает, как на масштабе миллиона ускорителей инженерные детали вроде целостности сигнала или скачков энергопотребления превращаются в определяющие факторы. Особый интерес представляет сравнение трёх поколений платформ NVIDIA и логика, по которой строятся уровни сети и домены отказа.

Гигаваттный кластер интересен не числом GPU, а тем, как из этого числа собирается одна работающая машина. На масштабе примерно миллиона ускорителей любая инженерная мелочь — целостность сигнала на одном линке, задержка перезапуска после отказа, скачок нагрузки на десятки мегаватт — перестаёт быть мелочью и определяет архитектуру. Ниже — механика того, как в Prometheus устроены уровни: от NVLink-домена внутри стойки до агрегационной сети между зданиями, и как кластер переживает отказы и переходные процессы питания.

Общая картина Prometheus

Prometheus описывается как гигаваттный суперкластер Meta. Первая фаза уже завершена, и кластер масштабируется примерно до 1 млн GPU. Сегодня это сотни тысяч GPU в нескольких соединённых зданиях, работающих как одна машина; на полном масштабе — примерно 1 млн распределённых GPU, работающих синхронно.

В кластере развёрнуты две платформы NVIDIA GPU, третья появится скоро. Первая — Catalina на NVIDIA GB200 NVL72 в варианте Ariel: это двухстоечная конфигурация, в которой по 36 GPU в каждой стойке объединены через NVLink в единый домен на 72 GPU, тогда как обычный NVL72 размещает те же 72 GPU иначе. Вторая — Clemente на NVIDIA GB300 NVL72. Третья — San Miguel на базе Vera Rubin NVL72.

Три поколения железа и что меняется от поколения к поколению

Catalina (GB200 NVL72, вариант Ariel). 72 GPU Blackwell с 13,4 ТБ HBM3e (192 ГБ на GPU), пиковая агрегатная пропускная способность памяти 576 ТБ/с, 720 PFLOPS FP8 и 1440 PFLOPS FP4, около 120 кВт на пару стоек. Каждый GPU Blackwell сочетается с CPU Grace и двумя NIC ConnectX-7 400G при соотношении CPU к GPU 1:1 — это даёт 800G ввода-вывода на GPU.

Clemente (GB300 NVL72). 72 GPU Blackwell Ultra с 20,7 ТБ HBM3e (288 ГБ на GPU — на 50% больше, чем у GB200), свыше 1 EFLOPS FP4, около 135 кВт на стойку. На уровне GPU ёмкость HBM на GPU выросла в 1,5 раза — с 192 ГБ до 288 ГБ, плотная пропускная способность FP4 выросла примерно во столько же, а ускорение attention (softmax) примерно удвоилось.

San Miguel (Vera Rubin NVL72). 72 GPU Vera Rubin с 288 ГБ HBM4 и пиковой пропускной способностью 19,2 ТБ/с на GPU, 2,52 пиковых EFLOPS FP4 и 1,26 пиковых EFLOPS FP8 тренировочных вычислений на стойку, 216 ТБ/с пиковой пропускной способности NVLink (3 ТБ/с двунаправленно на GPU), около 1500 ТБ/с пиковой совокупной пропускной способности памяти. Вычислительные лотки полностью жидкостного охлаждения при более 170 кВт на стойку, прирост производительности на ватт — 10–20% относительно GB300 NVL72.

Число GPU в домене NVL72 во всех трёх поколениях одинаково — 72, но физическая компоновка меняется. У GB200 в варианте Ariel это две стойки по 36 GPU; у GB300 весь 72-GPU домен умещается в одной стойке. По объёму HBM на GPU переход от GB200 к GB300 — рост с 192 ГБ до 288 ГБ, а у Vera Rubin остаётся 288 ГБ на GPU, но уже HBM4.

Платформа	GPU в домене	HBM на GPU	Память на домен	Вычисления	Мощность	Компоновка
Catalina (GB200 NVL72)	72	192 ГБ HBM3e	13,4 ТБ	720 PFLOPS FP8 / 1440 PFLOPS FP4	~120 кВт на пару стоек	две стойки по 36 GPU
Clemente (GB300 NVL72)	72	288 ГБ HBM3e	20,7 ТБ	свыше 1 EFLOPS FP4	~135 кВт на стойку	одна стойка
San Miguel (Vera Rubin NVL72)	72	288 ГБ HBM4	—	2,52 EFLOPS FP4 / 1,26 EFLOPS FP8	более 170 кВт на стойку	одна стойка, полностью жидкостное охлаждение

Таблица. Характеристики трёх платформ Prometheus по данным источника.

Сеть: два уровня иерархии

Сеть кластера повторяет иерархию трафика. Крупные задачи предобучения делят обучение на data-parallel реплики, и чувствительные к задержке и полосе операции концентрируются внутри реплики, а более терпимый к задержке трафик планируется между репликами. Поэтому внутри зданий стоят низкозадержечные высокопропускные фабрики, а между ними — агрегация.

Внутри здания. Ethernet-фабрика соединяет до 20 736 GPU через многоуровневую топологию с высокой пропускной способностью и низкой задержкой. Внутри зданий используются короткие дешёвые трансиверы 2×400G FR4 LITE.

Между зданиями. Сеть Backend Aggregation (BAG) — многоуровневая hub-and-spoke сеть, соединяющая фабрики зданий на расстояниях от 2 км до более 100 км и дающая multiple Pbps of bandwidth per region pair. Для линков длиннее ~10 км применяются когерентные оптические модули 800G-ZR.

Масштаб этой сети — миллионы миль волокна, десятки тысяч коммутаторов и миллионы оптических модулей.

Рисунок. Уровни сети Prometheus: от NVLink-домена до агрегации между зданиями.

Как фабрика справляется с перегрузками

Изначально для борьбы с перегрузками от тренировочных коллективов применялась Disaggregated Scheduled Fabric (DSF): коллективы порождают небольшое число крупных долгоживущих потоков, которые сталкиваются при традиционной балансировке. DSF решала это маршрутизацией на уровне субпакетов, переупорядочиванием пакетов внутри фабрики, виртуальными выходными очередями и кредитным управлением потоком на концах.

Позже Ethernet NIC научились переупорядочивать пакеты на конечной точке, и это сняло необходимость в планировании внутри фабрики. Кластер перешёл на Non-Scheduled Fabric (NSF) на мелкобуферных коммутаторах 51.2T с динамической балансировкой нагрузки и адаптивной маршрутизацией. Обе схемы построены на стеке FBOSS, что даёт контроль над фабриками и видимость для работы на масштабе.

Домен отказа ровно в 72 GPU

Размер домена отказа задан масштабом NVLink-домена. В поколении H100 архитектура NVL8 ограничивала scale-up домен восемью GPU. С NVL72 домен расширяется до 72 GPU — радиус поражения отказа вырастает в 9 раз. Больший scale-up домен и даёт NVL72 преимущество по полосе, но одновременно делает 72-GPU стойку единицей планирования ёмкости.

Дальше работает арифметика параллелизма. Параллелизм обучения эффективнее всего отображается на группы степеней двойки, поэтому каждый домен NVL72 запускает срез из 64 GPU. Задание при отказе перезапускается с последнего чекпоинта, и стойка остаётся в задании. Для более редких отказов целой стойки резервируется примерно 2% дополнительных стоек.

Цена этого видна на конкретном запуске: для тренировки на 32 768 активных GPU выделяется 523 стойки NVL72, или 37 656 GPU, примерно на 13% выше активного парка. Большая часть запаса — 11% — следует из геометрии среза 64 из 72, а не из абсолютной платы за надёжность.

Как кластер переживает отказы

Механизмы восстановления выбираются по тому, насколько широко расходится последствие сбоя.

Сбой изолируется в одной реплике. Здесь применяется Parallelism-Aware Fault Tolerance (PAFT). Неисправная data-parallel реплика выводится из работы, остальной кластер повторяет шаг и продолжает обучение, а затронутый срез перезапускается на доступных запасных хостах и ресинхронизируется. Потенциальная полная остановка превращается в небольшое временное снижение совокупной пропускной способности.

Сбой шире одной реплики. Тогда всю задачу перезапускают с последнего чекпоинта, и именно частота чекпоинтирования определяет объём потерянной работы. Распределённый чекпоинтинг асинхронно сохраняет состояние модели, включая градиенты и данные оптимизатора, в многоуровневое хранилище; delta checkpointing и промежуточная выгрузка в память удерживают влияние сохранений на пропускную способность обучения минимальным.

Резервирование. Оба механизма восстановления опираются на стратегию резервирования: заранее выделенные запасные GPU-лотки внутри стойки и запасные стойки сокращают время подъёма заменяющего оборудования и объём потерянной работы.

Рисунок. Как выбор механизма восстановления зависит от радиуса поражения отказа.

Кто отвечает за отказ

Модель атрибуции ответственности устроена так, что каждая сторона отвечает за свой класс отказов и улучшений: Meta оптимизирует планирование и инфраструктуру, NVIDIA — прошивки, диагностику сигналов и работу с памятью. Прозрачность атрибуции устраняет неоднозначность и ускоряет исправления в обеих организациях, а обе стороны сосредоточены на целевых улучшениях в своей зоне ответственности.

Зрелость железа на масштабе флота

Развёртывание сотен тысяч ускорителей первого поколения выявляет проблемы качества, скрытые при меньших объёмах. Главным узким местом при развёртывании GB200 изначально была целостность сигнала NVLink: при более чем 600 000 NVLink-соединений даже незначительная деградация сигнала вызывает частые циклы восстановления NVLink.

Меры борьбы строятся в несколько слоёв. Непрерывная телеметрия и автоматическая пометка вместе с диагностическими «прожигами» L11 — прогоном линков под нагрузкой, который выявляет слабые звенья, — изолируют эти звенья до ввода в эксплуатацию. Инструменты классификации отделяют преходящие сбои от устойчивых отказов целостности сигнала и направляют точечный ремонт и замену компонентов; отремонтированные системы проверяются перед возвратом в эксплуатацию. Здоровье фабрики NVLink отслеживается с миллисекундным разрешением, а автоматические пути восстановления изолируют неисправные компоненты и перераспределяют трафик без прерывания заданий.

Та же логика масштабируется на весь парк: более 600 000 путей NVLink валидируются диагностическими стресс-тестами до того, как по ним пойдёт рабочий трафик. Телеметрия коррелируется по многорэковым системам, и каждое прерывание классифицируется, чтобы выбрать между программным исправлением, ремонтом и заменой. Применяются параллельная квалификация у нескольких партнёров-производителей, стресс-тесты питания под нагрузкой 1400 Вт на GPU, строгие контрольные точки сборки холодных пластин и манифолдов, а также приёмка/прожиг и предзадачные проверки здоровья узлов. Каждый ремонт проходит обязательный карантин для проверки целостности перед возвратом в вычислительный пул.

Отдельно стоит быстрая доставка исправлений: автоматизация раскатывает прошивки и драйверы более чем на 100 тыс. GPU за несколько часов, а P90 времени обновления одного пода снижен с более чем семи часов на раннем этапе внедрения до двух. Это позволяет быстро пускать исправления по основным категориям прерываний на весь парк.

Питание и переходные процессы

Синхронное распределённое обучение создаёт крупные переходные процессы: когда десятки тысяч GPU одновременно выполняют вычислительно-тяжёлые фазы и циклы связи, внутри кластера возникают скачки нагрузки на 30–40%. Запуск или пауза крупного задания может сдвигать нагрузку более чем на десятки мегаватт за секунды.

С этим работает Dynamo Dimmer — кластерный фреймворк управления питанием, обеспечивающий интеллектуальное ограничение мощности. Вместо жёсткой остановки рабочих нагрузок он постепенно снижает лимиты мощности GPU по мере приближения кластера к электрическому потолку, чтобы обучение продолжалось без прерываний. Его подкрепляют три уровня резервирования, различающиеся по масштабу и роли: BBU, CBU, BESS и тесная координация с поставщиками электроэнергии.

Охлаждение гетерогенного парка

Prometheus работает на смеси поколений инфраструктуры. Модульное воздушно-ассистированное жидкостное охлаждение (AALC) охватывает free-air здания и быстровозводимые конструкции; специально оптимизированное под ИИ здание использует жидкостное охлаждение на уровне объекта (FLC) для максимальной плотности мощности. Новейшие ИИ-оптимизированные дата-центры Meta применяют замкнутый контур жидкостного охлаждения как самый эффективный способ охлаждения GPU-серверов с эффективным использованием воды, а прямое охлаждение чипа в замкнутом контуре экономит место, позволяя размещать больше GPU в стойке.

Качество сборки здесь — часть надёжности: строгие входные проверки сборки холодных пластин и манифолдов поддерживают оптимальные температуры перехода и предотвращают утечки по всему парку. Гетерогенность обоснована скоростью: распределённый подход позволил быстро построить Prometheus, но потребовал учитывать локальные ограничения по питанию и охлаждению на разных площадках.

Что из этого следует на практике

Домен отказа — это единица планирования, а не только единица железа. Расширение NVLink-домена с 8 до 72 GPU умножает радиус поражения в 9 раз, но выигрыш по полосе перевешивает, если запас встроен в геометрию: срез 64 из 72 даёт 11% резерва, которые не являются платой за надёжность, а следуют из требования степеней двойки.
Непрерывность обеспечивается на двух разных уровнях. Внутри реплики PAFT превращает отказ в кратковременное снижение пропускной способности; за её пределами гарантия сводится к перезапуску с последнего чекпоинта, и объём потерь определяется частотой сохранений.
Резерв дешевле простоя. Запасные GPU внутри стойки и примерно 2% запасных стоек сокращают время подъёма заменяющего оборудования; при 32 768 активных GPU запас составляет около 13%.
На масштабе флота отказ — статистика, а не исключение. Более 600 000 путей NVLink и сотни тысяч ускорителей первого поколения делают валидацию до продакшена, классификацию прерываний и карантин после ремонта обязательными элементами эксплуатации.
Питание управляется так же, как и вычисления. Скачки нагрузки на 30–40% и сдвиги на десятки мегаватт за секунды не оставляют варианта жёстко останавливать нагрузки: постепенное снижение лимитов мощности вместе с BBU, CBU и BESS держит обучение идущим.
Быстрая доставка исправлений — часть отказоустойчивости. Раскатка прошивок более чем на 100 тыс. GPU за несколько часов и P90 обновления пода в два часа сокращают окно, когда парк работает с известной проблемой.