Серверная платформа NVIDIA HGX

Комплексная ускоренная вычислительная платформа для искусственного интеллекта и высокопроизводительных вычислений

Серверная платформа NVIDIA HGX
ИИ‑модели, сложные симуляции и массивы данных требуют множества графических процессоров (GPU) с чрезвычайно быстрыми межсоединениями и полной ускоренной программной стек‑платформой. Платформа NVIDIA HGX объединяет мощь GPU NVIDIA, технологию NVLink, сетевые решения NVIDIA и полностью оптимизированные программные стеки для ИИ и HPC.

Где применяется HGX

  • Training LLM — обучение моделей с сотнями миллиардов параметров;
  • Generative AI — генерация текста, изображений, видео и аудио в реальном времени;
  • Inference at Scale — миллионы запросов в секунду для сервисов уровня ChatGPT или Copilot;
  • HPC — научные и промышленные расчёты: климатические модели, аэродинамика, молекулярная динамика.

Технические характеристики

  • Сервер Dell XE9680 6U с воздушным охлаждением
  • 2× Intel Xeon Scalable Gen4/5 (до 64 ядер)
  • 32× DDR5 4800/5600 MHz RDIMM — до 2 ТБ памяти
  • Поддержка до 8× GPU: NVIDIA H200 141GB SXM, AMD Instinct MI300X 192GB OAM или Intel Gaudi 3 128GB
  • До 8× SATA/SAS/NVMe накопителей

Прорывная связность GPU

  • NVLink — сверхбыстрая шина, объединяющая видеокарты в единый пул ресурсов;
  • Пропускная способность до 900 ТБ/с на GPU H200;
  • Прямая работа с общей памятью без перегрузки CPU;
  • Масштабирование — от 8 GPU в сервере до сотен GPU в одной системе через NVLink Switch.

Архитектура NVIDIA SuperPOD

  • Сотни GPU объединяются в единую систему с общей памятью;
  • Сеть NDR 400 Gbps InfiniBand с минимальными задержками;
  • Производительность: десятки ТБ/с на уровне стойки;
  • Программный стек: NVIDIA Base Command + AI Enterprise.

Реальные задачи, которые решает HGX

  • LLM GPT-3 (175B параметров, FP16=700GB VRAM) — полностью помещается в память одного HGX-сервера;
  • Stable Diffusion XL — обучение на гигантских датасетах и тысячный инференс изображений в секунду;
  • CFD, MD — симуляции с миллиардами элементов для аэродинамики и фармацевтики.

Спецификации NVIDIA HGX

Характеристики HGX B300 HGX B200
Форм-фактор 8x NVIDIA Blackwell Ultra SXM 8x NVIDIA Blackwell SXM
FP4 Tensor Core 144 PFLOPS | 105 PFLOPS 144 PFLOPS | 72 PFLOPS
FP8/FP6 Tensor Core 72 PFLOPS 72 PFLOPS
INT8 Tensor Core 2 POPS 72 POPS
FP16/BF16 Tensor Core 36 PFLOPS 36 PFLOPS
TF32 Tensor Core 18 PFLOPS 18 PFLOPS
FP32 600 TFLOPS 600 TFLOPS
FP64/FP64 Tensor Core 10 TFLOPS 296 TFLOPS
Общий объем памяти До 2,3 ТБ 1,4 ТБ
NVLink 5 поколение 5 поколение
NVIDIA NVSwitch™ NVLink 5 Switch NVLink 5 Switch
Пропускная способность NVSwitch GPU-GPU 1,8 ТБ/с 1,8 ТБ/с
Общая пропускная способность NVLink 14,4 ТБ/с 14,4 ТБ/с
Пропускная способность сети 1,6 ТБ/с 0,8 ТБ/с
Характеристики HGX H100 (4-GPU) HGX H100 (8-GPU)
Форм-фактор 4x NVIDIA H100 SXM 8x NVIDIA H100 SXM
FP8 Tensor Core 16 PFLOPS 32 PFLOPS
INT8 Tensor Core 16 POPS 32 POPS
FP16/BF16 Tensor Core 8 PFLOPS 16 PFLOPS
TF32 Tensor Core 4 PFLOPS 8 PFLOPS
FP32 270 TFLOPS 540 TFLOPS
FP64 140 TFLOPS 270 TFLOPS
FP64 Tensor Core 270 TFLOPS 540 TFLOPS
Общий объем памяти 320 ГБ HBM3 640 ГБ HBM3
Суммарная пропускная способность GPU 13 ГБ/с 27 ГБ/с
NVLink 4 поколение 4 поколение
NVSwitch Н/Д NVLink 4 Switch
Пропускная способность NVSwitch GPU-GPU Н/Д 900 ГБ/с
Общая суммарная пропускная способность 3,6 ТБ/с 7,2 ТБ/с
Пропускная способность сети 0,4 ТБ/с 0,8 ТБ/с
Запросить консультацию технического специалиста