Запросить ресурсы
Прямо сейчас свободно 86400 vCPU, 180 Tb RAM
На предыдущую страницу
Блог

Bare-metal или виртуализация: когда ML-нагрузке нужен сервер без гипервизора

При выборе инфраструктуры под обучение и инференс обычно отталкиваются от модели ускорителя и числа карт. Но спецификация не говорит, сколько заберет слой виртуализации. На вычислительных нагрузках оверхед гипервизора оценивают в 3–7%, но фактическое значение зависит от конфигурации и типа нагрузки.

Bare-metal — это поставка физического сервера без виртуализации со стороны провайдера. Клиент получает машину целиком и сам решает, ставить на нее гипервизор или работать с железом напрямую.

Оверхед гипервизора — это доля производительности, которую забирает слой виртуализации: обработка прерываний, трансляция адресов, планирование виртуальных ядер.

Разберем, из чего складывается оверхед и почему это важно.

Что забирает гипервизор

У виртуальной машины (ВМ) три основных источника потерь: доступ к ускорителю, память и сеть. Механизм у каждого свой.

Доступ к ускорителю

Здесь результат определяет связка гипервизора, карты и способа проброса. Одной цифры для всех конфигураций нет.

Разницу измерили в VMware в 2022 году. Тест проводили на четырех NVIDIA A100 с мостами NVLink под vSphere 7.0 U3c. Обучение BERT запускали сначала на картах, проброшенных в ВМ напрямую, затем на профилях vGPU.

Результат vGPU составил 101–103% от конфигурации с passthrough/bare-metal. В данном тесте переход на vGPU не привел к заметной просадке производительности.

Цифра показывает механизм, но на другую модель карты или версию гипервизора напрямую не переносится.

Память

Руководство VMware по производительности рекомендует укладывать ВМ в границы одного узла NUMA, то есть одного процессора с его памятью.

Если виртуальные ядра или память машины в один узел не помещаются, часть обращений идет через межпроцессорную шину. Этот путь медленнее: и пропускная способность ниже, и каждое обращение занимает больше времени.

Для широких машин vSphere показывает гостевой системе схему узлов через vNUMA, чтобы планировщик гостя учитывал ее при раскладке потоков.

Сеть

Драйвер VMXNET3 распределяет пакеты по нескольким очередям приема и передачи, а очереди по ядрам.

С одной очередью пропускная способность перестает расти вместе с числом виртуальных ядер. Машина достигает потолка раньше, чем позволяет физический порт.

На средней пропускной способности такие потери часто не видны. Они могут проявляться в росте хвостовых задержек — например, p95 и p99.

Как оверхед влияет на длительность проекта

Оверхед становится заметен там, где переходит во время. На обучении он переводится в лишние GPU-часы. На инференсе он сдвигает время ответа.

Обучение за пределами одного узла

По опыту инженерной команды ITGLOBAL.COM чувствительность к оверхеду растет на границе физического узла. Число карт внутри узла само по себе ее не задает.

Пока обучение идет внутри сервера, карты обмениваются результатами по мостам NVLink или по шине PCIe. Когда задача выходит за пределы узла, обмен идет через сеть между хостами.

К операциям синхронизации добавляется путь через сетевой стек. В виртуальной машине этот путь длиннее на один слой.

Инференс с жестким требованием ко времени ответа

При онлайн-инференсе, то есть генерации ответа уже обученной моделью, одним из ключевых показателей наряду со средней задержкой остается стабильность времени ответа.

Стабильность оценивают по хвостовым задержкам — p95 и p99. Рост этих показателей означает, что увеличивается время ответа у самых медленных запросов. Для сервисов с жесткими требованиями к отклику p95 и p99 могут фиксироваться в SLA.

Задержка с жестким потолком

Есть класс задач, где время ответа ограничено жестким потолком. К ним относятся управление в реальном времени, биржевые системы и отдельные сценарии онлайн-инференса, где ответ должен укладываться в 10 мс.

Такое требование строже, чем хорошая средняя задержка, и строже, чем хорошие p95 и p99. Из-за конкуренции за физический процессор хост может на короткое время задержать выполнение виртуального ядра. На VMware это видно по метрике CPU Ready.

Сервер без гипервизора убирает сам механизм такой задержки.

Passthrough и vGPU: чем платят за прямой доступ

PCIe Passthrough (на VMware — VMDirectPath I/O) отдает физический ускоритель целиком одной машине. Гостевая система работает с картой напрямую, без слоя разделения. Нужна поддержка IOMMU на хосте, а для карт с большим объемом видеопамяти — отдельные настройки загрузки гостя.

Плата за прямой проброс — часть функций управления. VMDirectPath I/O несовместим с живой миграцией vMotion, балансировкой DRS и снапшотами. Карта закреплена за машиной монопольно, поэтому плановое обслуживание хоста означает остановку задачи.

vGPU делит один физический ускоритель между несколькими машинами и поддерживает живую миграцию. На vSphere 7 и 8 эта функция требует отдельной настройки.

Начиная с 8.0 Update 2 у VMware появились отдельные настройки DRS для таких машин. Они проверяют допустимое время простоя при миграции и разрешают автоматическую эвакуацию при вводе хоста в обслуживание. По умолчанию рекомендации балансировщика для машин с vGPU остаются ручными.

Причина техническая. При миграции гипервизор копирует видеопамять профиля (framebuffer), и время простоя зависит от ее объема и от полосы сети миграции. Чем крупнее профиль, тем выше риск не уложиться в приемлемое окно.

Поддержка миграции в документации и предсказуемая миграция на конкретной версии vSphere и конкретной карте — разные вещи. Вторая проверяется замером.

Экономика облачной и выделенной GPU-инфраструктуры

Выбор между виртуализованной и выделенной инфраструктурой влияет на экономику проекта. При сравнении важно учитывать стоимость ресурсов и степень их загрузки.

В облачной GPU-инфраструктуре клиент арендует выделенный пул вычислительных ресурсов с фиксированной ежемесячной оплатой. Конфигурацию виртуальных машин и vGPU-профили можно менять в пределах доступных ресурсов, поэтому такой формат удобен, когда требования к инфраструктуре могут меняться по ходу проекта.

При аренде выделенного GPU-сервера клиент получает физический сервер целиком. Его конфигурация и стоимость фиксируются на срок договора, а все ресурсы сервера закреплены за одним клиентом независимо от фактической загрузки.

При длительной и предсказуемой нагрузке имеет смысл сравнивать стоимость облачного пула и выделенного сервера за весь срок проекта. В расчет входят требуемая конфигурация, загрузка ресурсов, срок аренды и дополнительные сервисы.

Что показывает пилот

Чужой замер показывает механизм. Свой результат дает только прогон на целевой конфигурации.

До старта фиксируют конфигурацию стенда. Это версии драйвера, CUDA, фреймворка, гипервизора и гостевой системы, модель процессора и карты, схема узлов NUMA и связей PCIe или NVLink, выбранный режим доступа к ускорителю. Датасет, размер батча, точность вычислений и параметры запуска во всех прогонах одинаковые.

Измеряются пропускная способность, медиана и хвостовые задержки, время холодного старта, утилизация ускорителя, конкуренция за физический процессор, ошибки и повторные попытки.

Прогонов нужно четыре:

Одна задача. Верхняя граница скорости на этой конфигурации.
Конкурирующие арендаторы. Та же задача при нагрузке соседей по хосту.
Длительный запуск. Сутки и больше, чтобы увидеть накопленное замедление.
Окно планового обслуживания. Что происходит с задачей, когда хост уходит в обслуживание.

Один синтетический прогон решение не обосновывает.

Эксплуатацию проверяют отдельно от скорости: выдача и обновление среды, откат, лицензии, мониторинг. Для прямого проброса отдельно смотрят сценарий обслуживания хоста, для vGPU — реальное время простоя при миграции.

Как выбрать формат

Формат Что получает задача Чем платит Подходит для
Bare-metal слоя виртуализации нет, доступ к топологии и телеметрии оборудования нет живой миграции и быстрой пересборки среды, обслуживание означает простой длительное обучение, задержки с жестким потолком, тяжелый локальный ввод-вывод
ВМ с PCIe Passthrough ускоритель целиком у одной машины, работа с картой напрямую нет vMotion, DRS и снапшотов обучение средней длительности, инференс с жесткими требованиями ко времени ответа
ВМ с vGPU ускоритель делится между машинами, живая миграция при отдельной настройке время простоя при миграции зависит от объема профиля, слой виртуализации остается инференс, пилотные проекты, переменная нагрузка

Выбор зависит не только от производительности. Если для данных действуют ограничения по размещению и контуру обработки, при выборе инфраструктуры учитывают площадку, уровень изоляции и требования законодательства. В зависимости от этих условий инфраструктуру размещают на собственной площадке или используют выделенный сервер в дата-центре у провайдера.

Kubernetes сам по себе не определяет формат инфраструктуры. Нода с GPU может быть как физическим сервером без гипервизора, так и виртуальной машиной с vGPU или проброшенной картой. Исключение документировано у NVIDIA: для OpenShift Virtualization с KubeVirt, где нода хостит вложенные ВМ с ускорителями, GPU Operator исходит из того, что такие ноды bare-metal.

GPU-инфраструктура ITGLOBAL.COM

В ITGLOBAL.COM есть оба формата, и глубину доступа к оборудованию можно выбрать под задачу.

Облачные серверы с GPU — это виртуальные машины с ускорителями RTX PRO 6000 Blackwell и A100/A800 на платформе VMware vSphere. Ускоритель выделяется через vGPU, а по запросу — через PCIe Passthrough. Лицензии NVIDIA AI Enterprise уже включены. Формат подходит для инференса, пилотных проектов и переменной нагрузки.

Выделенные серверы с GPU (Dedicated GPU) — это физический сервер целиком. В поставке без виртуализации слоя гипервизора нет, а клиент видит физическую топологию и телеметрию ускорителей. Доступны конфигурации с NVIDIA H200 NVL и RTX PRO 6000 Blackwell, а также A16. В конфигурациях с H200 NVL ускорители объединяются мостами NVLink по две или четыре карты, 900 ГБ/с на ускоритель. Формат подходит для длительного обучения и задач с жестким требованием ко времени ответа.

Серверы размещаются в дата-центрах 7 стран, в том числе в Москве, Минске, Алматы, Ташкенте и Дубае.

Итоги

Виртуализация не проигрывает автоматически. На обучении BERT с мостами NVLink vGPU показал результат уровня прямого проброса карт.

Оверхед удлиняет проект в трех случаях: задача выходит за пределы одного узла, ответ не должен выходить за порог ни разу, загрузка близка к постоянной. В этих случаях сервер без гипервизора исключает потери, связанные со слоем виртуализации.

В остальных случаях формат выбирают по результатам замеров на собственной нагрузке.

Частые вопросы

Это доля производительности, которую забирает слой виртуализации: обработка прерываний, трансляция адресов, планирование виртуальных ядер. На вычислительных нагрузках оверхед гипервизора оценивают в 3–7%, но фактическое значение зависит от конфигурации и типа нагрузки.

Нет. В тесте VMware обучение BERT на четырех A100 с NVLink под vGPU дало 101–103% от конфигурации с прямым пробросом карт. Результат нужно измерять на своей нагрузке.

Passthrough закрепляет весь ускоритель за одной машиной, vGPU делит его между несколькими. У passthrough нет живой миграции, балансировки DRS и снапшотов. vGPU миграцию поддерживает, но она требует отдельной настройки, а время простоя зависит от объема видеопамяти профиля и полосы сети.

Нет. Worker-нода с ускорителем бывает и сервером без гипервизора, и виртуальной машиной. Исключение одно: OpenShift Virtualization с KubeVirt, где нода хостит вложенные ВМ с ускорителями. Оркестратор меняет способ развертывания задачи, а схему узлов NUMA, сети и доступа к карте под ней не меняет.

Можно, но тогда решение опирается на чужой замер. Расхождение между чужой цифрой и своей нагрузкой обходится дороже всего при масштабировании.

Оцените данную статью

Узнавайте о выходе новых статей в блоге первыми!

Подпишитесь на нашу рассылку