Физический GPU в корпоративной инфраструктуре почти никогда не работает на одну задачу. Рядом с обучением модели идёт инференс, мощности делят несколько дата-сайентистов, а под сервис с жёстким SLA нужно выделить ресурс, который никто не займёт. Ускорители при этом дорогие и в дефиците, поэтому каждый процент простоя или неудачного распределения отражается на TCO. Чтобы поделить один GPU, у NVIDIA есть два механизма: аппаратный MIG и программная виртуализация vGPU, причём у второго два режима. Разберём, как устроен каждый вариант, где он уместен и что нужно знать о его лицензировании.
Почему GPU нельзя делить так же, как CPU
С процессором всё привычно: гипервизор раздаёт ядра и память виртуальным машинам, и они почти не мешают друг другу. С GPU так не получается. Вычислительные блоки и видеопамять устроены иначе, и если просто делить ускоритель по времени, под нагрузкой появляются задержки, которые трудно предсказать. Поэтому NVIDIA предлагает два разных подхода:
- MIG (Multi-Instance GPU) — ускоритель физически делится на изолированные экземпляры;
- vGPU — гипервизор через программный слой даёт нескольким виртуальным машинам доступ к одному GPU.
Это не конкуренты, а инструменты под разные задачи. А их сочетание, MIG-backed vGPU, закрывает сценарии, где ни одного из подходов по отдельности не хватает.
MIG: аппаратное разделение ускорителя
MIG появился в ускорителях NVIDIA начиная с поколения Ampere. Технология делит один физический GPU на несколько независимых экземпляров, у каждого из которых свои память, кэш и вычислительные ядра. Сколько экземпляров можно создать и какого они размера, определяют MIG-профили конкретной модели. Например, RTX PRO 6000 Blackwell Server Edition с 96 ГБ памяти делится максимум на четыре экземпляра по 24 ГБ, а также поддерживает конфигурации на 48 и 96 ГБ.
Ограничение: перенастройка требует остановки
Разметку MIG можно менять, но только после остановки задач на ускорителе. Поэтому MIG неудобен там, где ресурсы приходится часто перебрасывать между нагрузками. Зато он хорошо подходит там, где нужны гарантированная производительность и строгая изоляция: для инференса, многопользовательских ИИ-платформ, тестовых сред и инфраструктуры с жёсткими требованиями SLA.
vGPU: виртуальный GPU для каждой машины
vGPU работает на уровне гипервизора. Программный слой NVIDIA vGPU Manager даёт виртуальным машинам доступ к ресурсам одного физического ускорителя. Каждая ВМ получает собственный виртуальный графический адаптер и работает с ним как с обычным устройством. О соседях она не знает: гостевая ОС не видит ни своей доли ресурсов, ни того, делит ли она GPU с кем-то ещё.
Управление состоит из двух частей: vGPU Manager на стороне гипервизора и гостевые драйверы внутри ВМ. Администратор распределяет ресурсы через профили vGPU, задавая объём видеопамяти и тип нагрузки: графическую, вычислительную или смешанную. Главное, что нужно понимать про vGPU: у него два режима, которые по-разному ведут себя под нагрузкой.
Time-slicing: делёж по времени
Планировщик vGPU Manager по очереди даёт каждой виртуальной машине доступ к вычислительным ресурсам ускорителя, а профиль определяет её объём видеопамяти и тип нагрузки. В каждый момент GPU выполняет задачи только одной ВМ. Переключение быстрое, но не мгновенное. Так на одном ускорителе удаётся разместить сразу несколько нагрузок.
Режим создавался ради гибкости и плотности, а не ради гарантированной производительности. Если несколько ВМ одновременно выходят на пик, они начинают конкурировать за GPU: задержки растут, производительность падает, и насколько именно — заранее не скажешь. Поэтому time-slicing выбирают для интерактивных сред дата-сайентистов, разработки и отладки моделей, инференса без жёстких требований к SLA.
MIG-backed vGPU: изоляция MIG плюс удобство виртуализации
В этом режиме физический GPU сначала делят на MIG-экземпляры с фиксированным объёмом памяти, кэша и ядер. Затем vGPU Manager подключает каждый экземпляр к виртуальной машине как виртуальный GPU. Гостевая ОС видит обычное устройство и не знает о физическом разделении.
В итоге каждая ВМ получает аппаратно изолированную долю ускорителя с гарантированной производительностью. Пиковая нагрузка у соседа на неё не влияет, в отличие от time-slicing. При этом администратор управляет GPU теми же инструментами платформы виртуализации (VMware, Hyper-V), что и остальной инфраструктурой.
У режима есть цена. Нужны лицензия NVIDIA AI Enterprise, совместимый гипервизор и настройка MIG-профилей на каждом узле, то есть это сложнее и дороже, чем чистый time-slicing. Для SLA-критичных сервисов, многопользовательских ИИ-платформ и случаев, когда один физический GPU делят несколько клиентов, эти затраты оправданы.
Гибрид: time-slicing внутри MIG-экземпляра
Внутри одного MIG-экземпляра можно включить time-slicing и разместить там несколько ВМ. По документации NVIDIA, такой режим появился вместе с RTX PRO 6000 Blackwell Server Edition. Он повышает плотность, но сохраняет аппаратную границу между группами нагрузок.
MIG, time-slicing и MIG-backed vGPU: сравнение
Фактически вариантов три: чистый MIG и два режима vGPU, time-slicing и MIG-backed. В таблице они сравниваются по критериям, которые обычно решают выбор.
| Критерий | MIG | Time-sliced vGPU | MIG-backed vGPU |
|---|---|---|---|
| Изоляция нагрузок | аппаратная, на уровне MIG-экземпляра | разделение по времени | аппаратная, на уровне MIG-экземпляра, плюс инструменты платформы виртуализации |
| Для чего | однопользовательские среды со строгой изоляцией | многопользовательские сценарии с мягкими требованиями к изоляции | многопользовательские сценарии со строгими требованиями к изоляции и производительности |
| Операционная система | Linux, одна ОС на экземпляр | у каждой ВМ своя ОС (Linux или Windows) | у каждой ВМ своя ОС (Linux или Windows) |
| Гарантированная производительность | да | нет | да |
| Live migration | не поддерживается | поддерживается (vMotion), если драйверы и GPU на целевом хосте совместимы | поддерживается (vMotion), если на целевом хосте такая же MIG-конфигурация |
| Гибкость перераспределения | низкая: нужна остановка задач | высокая: ресурсы перераспределяются на ходу | средняя: смена MIG-разметки требует остановки, внутри экземпляра всё гибко |
Какой режим выбрать под задачу
- разработка, отладка, интерактивные ноутбуки — time-sliced vGPU: нагрузка непостоянная, а колебания производительности допустимы;
- инференс с SLA, многопользовательская платформа, несколько клиентов на одном GPU — MIG-backed vGPU;
- изолированная среда на Linux без гипервизора — MIG на bare-metal;
- нужно больше ВМ на одном ускорителе без потери изоляции между группами — time-slicing внутри MIG-экземпляра.
Лицензирование NVIDIA vGPU
vGPU — проприетарная технология NVIDIA, и без лицензии она полноценно не работает. Лицензия покрывает весь стек: vGPU Manager на гипервизоре и гостевые драйверы в ВМ. Выдаёт лицензии NVIDIA License System (NLS) в одном из двух вариантов: облачный Cloud License Service (CLS) или локальный Delegated License Service (DLS). Второй нужен, например, в закрытых контурах без прямого доступа в интернет.
Что происходит без лицензии
Если ВМ не получила лицензию, драйвер постепенно урезает её возможности. По документации NVIDIA, через 20 минут частота кадров ограничивается 15 FPS и снижается производительность CUDA, а через сутки частота падает до 3 FPS и CUDA перестаёт работать. Точные сроки зависят от версии ПО. Для виртуальных рабочих мест это означает практически непригодный экран, для ИИ-нагрузок — остановку вычислений.
Типы лицензий
Под разные сценарии NVIDIA использует разные типы лицензий:
- vPC — виртуальные рабочие места;
- vWS — профессиональная графика;
- vCS — вычислительные задачи. Для вычислительных vGPU лицензирование сейчас идёт через NVIDIA AI Enterprise.
От типа лицензии зависит не только допустимый сценарий, но и набор функций драйвера и vGPU-стека.
GPU в облаке ITGLOBAL.COM
Покупать GPU-серверы и самостоятельно их настраивать корпоративные заказчики хотят всё реже: аренда GPU в облаке снимает вопросы лицензирования, конфигурации и поддержки. У ITGLOBAL.COM есть действующая лицензия NVIDIA AI Enterprise, а GPU сдаются в аренду с vGPU в обоих режимах: time-slicing и MIG-backed.
Самый производительный и надёжный из них — MIG-backed vGPU: он даёт аппаратную изоляцию, гарантированную производительность и управление через стандартные инструменты виртуализации. В облаке ITGLOBAL.COM этот режим доступен на картах RTX PRO 6000 Blackwell Server Edition. Это та же технология, на которой работают крупные AI-платформы, только без покупки и настройки собственного оборудования. Например, ITGLOBAL.COM предоставлял GPU-инфраструктуру для запуска корпоративного ИИ-ассистента.
Если в виртуальных машинах будут обрабатываться персональные данные, заранее уточните, в какой стране размещены серверы: от этого зависит, нужно ли оформлять трансграничную передачу по Закону № 99-З «О защите персональных данных».
Доступные GPU
| Характеристика | NVIDIA H200 | RTX PRO 6000 Blackwell Server Edition | NVIDIA A100/A800 | NVIDIA A16 | NVIDIA L40S |
|---|---|---|---|---|---|
| Архитектура | Hopper | Blackwell | Ampere | Ampere | Ada Lovelace |
| CUDA-ядра | 16 896 | 24 064 | 6 912 | 1 280 × 4 чипа | 18 176 |
| Tensor-ядра | 528 | 752 | 432 | 160 × 4 чипа | 568 |
| RT-ядра | — | 188 | — | 40 × 4 чипа | 142 |
| Видеопамять | 141 ГБ HBM3e | 96 ГБ GDDR7 | 80 ГБ HBM2e | 64 ГБ GDDR6 (16 ГБ × 4) | 48 ГБ GDDR6 |
| Поддержка MIG | ✓ | ✓ | ✓ | — | — |
| Пропускная способность памяти | 4,8 ТБ/с | 1,6 ТБ/с | 2 ТБ/с | 232 ГБ/с на чип | 864 ГБ/с |
Профили vGPU
Для части GPU есть готовые профили vGPU с фиксированным объёмом видеопамяти, vCPU и RAM. Профиль подбирается под задачу: от лёгкого инференса до тяжёлых вычислений, которым нужна вся память ускорителя.
| Модель | Видеопамять | vCPU | RAM |
|---|---|---|---|
| NVIDIA A100/A800 | 10 ГБ | 4 | 16 ГБ |
| NVIDIA A100/A800 | 20 ГБ | 8 | 32 ГБ |
| NVIDIA A100/A800 | 40 ГБ | 16 | 64 ГБ |
| NVIDIA A100/A800 | 80 ГБ | 24 | 128 ГБ |
| NVIDIA RTX PRO 6000 Blackwell | 12 ГБ | 4 | 16 ГБ |
| NVIDIA RTX PRO 6000 Blackwell | 24 ГБ | 8 | 32 ГБ |
| NVIDIA RTX PRO 6000 Blackwell | 48 ГБ | 16 | 64 ГБ |
| NVIDIA RTX PRO 6000 Blackwell | 96 ГБ | 24 | 128 ГБ |
Итог: от чего зависит выбор
Способ разделения GPU определяет сразу три вещи: производительность, изоляцию и стоимость ИИ-инфраструктуры. Time-sliced vGPU даёт гибкость и плотность, но не гарантирует производительность под нагрузкой. Чистый MIG изолирует нагрузки, но требует ручного управления и не встроен в платформу виртуализации. MIG-backed vGPU берёт лучшее от обоих: аппаратную изоляцию и предсказуемость MIG плюс управление через гипервизор. Для SLA-критичных сервисов, многопользовательских ИИ-платформ и сред, где нагрузки должны быть изолированы и предсказуемы, это оптимальный вариант. ITGLOBAL.COM сдаёт GPU с этой технологией в аренду и берёт на себя лицензирование, настройку и поддержку.
Частые вопросы
Предыдущая статья
