Запросить ресурсы
Прямо сейчас свободно 86400 vCPU, 180 Tb RAM
На предыдущую страницу
Блог

Облачный или выделенный GPU-сервер: что выбрать для ИИ-проекта

Серверы с GPU используют для обучения ИИ-моделей, инференса, рендеринга и других задач, требующих высокопроизводительных вычислений. Облачные провайдеры предлагают несколько видов GPU-серверов. Выбор не всегда очевиден, а ошибка на этом этапе влияет как на будущие затраты, так и на успех проекта.

Если под переменную нагрузку арендовать выделенный сервер, компании придется платить за оборудование, которое часть времени будет простаивать. Если же под постоянные нагрузки выбрать облачный сервер, то возможно, что придется мириться с эффектом «шумных соседей» (noisy neighbours), когда чужие задачи на той же GPU-карте замедляют расчеты.

Сменить модель развертывания после запуска проекта возможно, но связано с дополнительными трудозатратами. Команде придется подбирать параметры новой конфигурации, развертывать окружение и переносить данные.

Что такое облачный сервер с GPU

Облачный сервер с GPU — это виртуальная машина, которая получает долю ресурсов физического сервера: процессорное время, оперативную память, диск и ресурсы графического ускорителя. На одном физическом сервере работает несколько таких машин. Главное преимущество модели в гибкости. Когда требования к ресурсам меняются, команда может создавать дополнительные виртуальные машины или менять их конфигурацию в пределах доступного пула ресурсов.

Варианты доступа к GPU

Ресурсы ускорителя выделяются виртуальной машине тремя способами. От выбранного режима зависит, делится ли карта между клиентами провайдера:

PCIe Passthrough

— виртуальная машина получает карту целиком;

MIG-backed vGPU

— аппаратное разделение: карта делится на изолированные инстансы, у каждого свои вычислительные блоки, память и кеш;

Time-Sliced vGPU

— программное разделение по времени: виртуальная машина получает vGPU-профиль с фиксированным объемом видеопамяти и долю вычислительного времени карты.

Даже когда виртуальная машина получает карту целиком, облачный сервер не становится выделенным. Процессор, оперативная память, диск и сеть остаются ресурсами физического сервера, на котором работают машины других клиентов. Механика всех трех режимов описана в статье про модели разделения GPU.

vGPU — проприетарная технология NVIDIA. Ее использование требует действующей лицензии NVIDIA AI Enterprise. Без лицензии гостевой драйвер внутри виртуальной машины после льготного периода переходит в режим ограниченной производительности. Вычислительная мощность GPU в задачах обучения и инференса резко падает, и полноценно работать с ресурсом нельзя.

Какие карты поддерживают аппаратное разделение

Аппаратное разделение доступно не на всех ускорителях NVIDIA, и для выбора конфигурации это определяющее ограничение. MIG поддерживают A100 и А800, H200 и RTX PRO 6000 Blackwell Server Edition.

Количество частей у каждой карты свое:

A100 и А800 80 ГБ и H200 141 ГБ делятся максимум на семь изолированных инстансов;

RTX PRO 6000 Blackwell Server Edition с 96 ГБ GDDR7 делится на четыре инстанса;

Конфигурация инстанса задается профилем MIG: первая цифра показывает число вычислительных долей карты, вторая — объем видеопамяти инстанса в гигабайтах. Например, профиль 1g.18gb на H200 — это одна доля и 18 ГБ видеопамяти.

Где используют облачные GPU-серверы

Облачные серверы с GPU закрывают задачи с переменной нагрузкой и проекты на стадии проверки гипотез. Типичные сценарии:

 

инференс в продакшене, когда число запросов колеблется по дням и часам, а доли карты под такую нагрузку достаточно;

 

эксперименты и дообучение небольших моделей короткими прогонами;

 

пакетная обработка документов или изображений по мере поступления файлов;

 

пиковые расчеты в дополнение к собственным GPU-мощностям.

Что такое выделенный сервер с GPU

Выделенный сервер с GPU — это физический сервер, все ресурсы которого, включая GPU, CPU, RAM и хранилище, отданы в распоряжение одного клиента. Это обеспечивает предсказуемую производительность, полный контроль над конфигурацией стека от ОС до драйверов и аппаратную изоляцию данных на уровне сервера.

Главное преимущество выделенного сервера в кастомизации, и касается она не только оборудования. Клиент сам выбирает операционную систему, версии драйверов и окружение.

Задачи для выделенного сервера

Выделенные серверы берут под постоянную нагрузку и под требования к стабильной производительности:

 

длительное обучение, которое идет неделями при постоянно загруженной карте;

 

круглосуточный инференс, который не терпит просадок из-за чужих задач;

 

большие модели, не умещающиеся в один ускоритель, с несколькими картами под одним проектом;

 

проекты с чувствительными данными, где внутренние политики не допускают размещение нагрузки на общем физическом хосте.

Сетевая инфраструктура: NVLink, NVSwitch и InfiniBand

Когда ИИ-модель не помещается в одну карту, скорость обучения упирается не в сами ускорители, а в канал между ними. Обмен весами и градиентами идет на каждом шаге, и узкий канал обесценивает дорогостоящие карты.

На совместимых ускорителях для обмена данными между GPU внутри узла используется высокоскоростной канал связи NVLink. Его пропускная способность зависит от поколения. Четвертое поколение NVLink, которое используется в архитектуре Hopper на H200, обеспечивает до 900 ГБ/с на одну карту. Пятое поколение в архитектуре Blackwell — до 1800 ГБ/с на карту. Цифры относятся к одному ускорителю, а не к серверу целиком.

В плотных конфигурациях линки сводит коммутирующий чип NVSwitch. Он обеспечивает всестороннюю связь GPU внутри одного узла с высокой пропускной способностью, позволяя ускорителям напрямую обмениваться данными друг с другом.

Если таких GPU-узлов несколько и они объединены в кластер, для связи между ними используется высокоскоростная сеть, например InfiniBand. Поколение NDR на платформе NVIDIA Quantum-2 обеспечивает до 400 Гбит/с на порт. Разделение уровней простое: NVLink и NVSwitch работают внутри узла, InfiniBand связывает узлы в кластер.

Ключевые отличия между выделенным и облачным сервером

Прежде всего модели услуг отличаются по нескольким параметрам — от изоляции оборудования до модели оплаты. Сравнение по каждому критерию — в таблице.

Критерий Облачный сервер Выделенный сервер
Изоляция оборудования виртуализация, узел общий физическая
Предсказуемость производительности зависит от режима доступа к карте полная по всему стеку
Оплата фиксированная за выделенный пул ресурсов аренда, не зависит от загрузки
Срок запуска быстрый требуется подготовка физического сервера
Управление средой клиент управляет ВМ, провайдер — гипервизором и физическим хостом полный доступ к физическому серверу
Масштабирование новые машины по запросу добавление серверов или ресурсов по заявке
Отказ карты перезапуск при свободной карте в пуле простой на время замены

Как выбрать модель развертывания

На подбор модели развертывания влияют несколько факторов — от характера нагрузки до срока запуска.

Характер нагрузки

Нагрузка с пиками и провалами удобнее для облачного сервера, поскольку ресурсы можно гибко распределять в пределах выделенного пула. При круглосуточной загрузке это преимущество исчезает, и разница между моделями сокращается. Поэтому сравнивать модели нужно по общей стоимости инфраструктуры за весь срок проекта.

Изоляция ускорителя

Например, для обучения крупной модели требуется полный доступ к ресурсам ускорителя. Такую изоляцию дает выделенный сервер, а на облачном сервере ее закрывает передача GPU целиком. Если нагрузка укладывается в долю ускорителя, разделение проекту не мешает, и переплачивать за изоляцию не нужно.

Число ускорителей на задачу

Если модель не помещается в один ускоритель, в сервер ставят несколько. Все они должны принадлежать одному проекту и быстро обмениваться данными между собой, а такую конфигурацию проще получить на выделенном сервере.

Срок запуска

Облачный сервер можно развернуть быстрее, потому что собирать и передавать оборудование не требуется. Для выделенного сервера нужно подготовить физическую конфигурацию под проект, поэтому его запуск занимает больше времени.

Типичные ошибки при выборе

Смотреть на цену часа вместо итогового расхода за срок проекта. На выделенном сервере аренда не снижается вместе с нагрузкой: месяц простоя оплачивается полностью.

Выбирать облачный сервер для постоянной высокой нагрузки, не сравнив его с выделенным. При круглосуточной загрузке основное преимущество облака — гибкость — теряет смысл. При этом CPU, RAM и сеть остаются общими с другими клиентами физического сервера, даже если GPU-карта передана целиком.

Оценивать нужный объем памяти только по размеру модели. KV-кэш растет вместе с длиной контекста, поэтому профиль без запаса под кэш упирается в предел на длинных диалогах.

Серверы с GPU в ITGLOBAL.COM

ITGLOBAL.COM предлагает облачные и выделенные серверы с GPU. Основу инфраструктуры составляют ускорители NVIDIA H200, RTX PRO 6000 Blackwell Server Edition и A100/А800.

Ресурсы GPU доступны по трем моделям: PCIe Passthrough, MIG и vGPU. ITGLOBAL.COM обладает действующей лицензией NVIDIA AI Enterprise и предоставляет оба режима vGPU: time-slicing и MIG-backed.

Сеть дата-центров развернута в 7 странах, все площадки соответствуют уровню Tier III.

FAQ

Облачный сервер с GPU — это виртуальная машина с доступом к ресурсам видеокарты. В зависимости от режима виртуальной машине может передаваться часть ускорителя или физическая карта целиком. Выделенный сервер предоставляется одному клиенту целиком, поэтому его производительность не зависит от чужих нагрузок.

Облачный сервер удобен для переменной нагрузки, когда важно гибко распределять ресурсы между виртуальными машинами и менять их конфигурацию. При постоянной высокой загрузке стоит сравнивать облачный и выделенный варианты с учетом требуемой производительности, изоляции и количества GPU на проект.

Нет. Лицензия нужна только для виртуализированного доступа к GPU через vGPU. На выделенном сервере ресурс не виртуализируется, поэтому лицензия не требуется.

На облачном сервере виртуальная машина перезапускается на свободной карте в пуле провайдера, простой минимальный. На выделенном сервере карту нужно физически заменить, и на это время проект простаивает.

В GPU Cloud доступны три режима: MIG-backed vGPU с аппаратным разделением GPU на изолированные инстансы, Time-Sliced vGPU с распределением вычислительного времени между виртуальными машинами и Passthrough, при котором физический GPU целиком передается одной ВМ.

Оцените данную статью

Узнавайте о выходе новых статей в блоге первыми!

Подпишитесь на нашу рассылку