NVIDIA H100

Характеристики NVIDIA H100

• Архитектура: Hopper (сменившая Ampere)
• Техпроцесс: 4-нм (TSMC N4)
• Количество транзисторов: 80 млрд
• Вычислительная мощность:
  • FP64/FP32: 60 терафлопс
  • Tensor Core (FP8 с Transformer Engine): до 2000 терафлопс
• Память:
  • До 80 ГБ HBM3
  • Пропускная способность: 3 ТБ/с
• Интерфейсы:
  • NVLink 4.0 (до 900 ГБ/с)
  • PCIe 5.0 (вдвое быстрее PCIe 4.0)

Используемые технологии

NVIDIA H100 оснащен Transformer Engine, который ускоряет обучение трансформерных моделей, автоматически переключаясь между FP8 и FP16 для оптимального баланса скорости и точности. Multi-Instance GPU (MIG) позволяет разделить графический процессор на семь независимых экземпляров, что дает возможность выполнять несколько задач одновременно без потери производительности. DPX Instructions ускоряет динамическое программирование, востребованное в биоинформатике и робототехнике. Поддержка программного обеспечения включает CUDA 12, NVIDIA AI Enterprise, а также интеграцию с TensorFlow, PyTorch и библиотеками для высокопроизводительных вычислений.

Области применения

Графический процессор используется в суперкомпьютерах класса exascale, таких как Leonardo и Jupiter, обеспечивая вычислительные мощности для сложных симуляций и анализа данных. В облачных платформах, включая AWS, Google Cloud и Microsoft Azure, он доступен для развертывания ИИ-моделей и вычислительных задач. В сфере искусственного интеллекта и машинного обучения применяется для обучения крупных языковых моделей, компьютерного зрения и рекомендательных систем. В научных исследованиях используется для моделирования климата, квантовой химии и анализа геномных данных.

Преимущества перед A100

NVIDIA H100 в шесть раз превосходит A100 по производительности в задачах искусственного интеллекта. Благодаря использованию памяти HBM3 ее пропускная способность увеличена на 50 % по сравнению с HBM2e. Применение 4-нм техпроцесса позволило повысить энергоэффективность на 26%, что снижает энергозатраты при работе в дата-центрах.

Экосистема NVIDIA H100

Графический процессор интегрирован в серверные решения DGX H100, которые включают восемь GPU с общей памятью в 400 ГБ, обеспечивая высокую производительность для ИИ-вычислений. Поддерживается совместимость с NVIDIA Omniverse для работы с 3D-симуляциями и NVIDIA AI для развертывания и оптимизации ИИ-моделей.

Значение для индустрии

Графический процессор H100 – это важный инструмент для генеративного ИИ, ускоряющий обучение моделей. Компании, включая Meta, OpenAI и Tesla, используют его для сокращения времени тренировки моделей с недель до дней. Например, обучение GPT-4 на кластере из 1024 H100 заняло два месяца вместо шести на предыдущих GPU.