При выборе GPU в облаке обычно отталкиваются от характеристик карты. Но спецификация описывает ускоритель в идеальных условиях. В реальной инфраструктуре на скорость влияют еще два фактора, которых в ней нет: шумные соседи и троттлинг.
Шумные соседи (noisy neighbors) — это задачи других клиентов на том же ускорителе или сервере. Они занимают общие ресурсы и, как следствие, замедляют чужие вычисления.
Троттлинг — это автоматическое снижение тактовой частоты GPU, когда карта достигает лимита мощности или предельной температуры.
Разберем, как работают оба эффекта и как учесть их при выборе формата аренды.
Шумные соседи в облаке
Публичное облако построено на мультиарендности: одни и те же физические ресурсы обслуживают нескольких клиентов. На одном сервере могут работать виртуальные машины разных компаний, а один GPU может выполнять задачи нескольких пользователей. Такой подход позволяет использовать только необходимую часть ресурсов физического GPU.
Как способ деления GPU влияет на производительность
Ускоритель можно отдать одной виртуальной машине целиком (режим passthrough) или разделить между несколькими ВМ, благодаря технологии vGPU от NVIDIA. vGPU работает в двух режимах: time-sliced vGPU и MIG-backed vGPU.
В режиме time-sliced vGPU у каждой машины своя доля видеопамяти, а вычислительные блоки ускорителя машины используют по очереди. В каждый момент времени на GPU считает только одна из них.
Очередность задает планировщик. По умолчанию в NVIDIA vGPU работает режим best effort: машины получают кванты времени по кругу, а если машине нечего вычислять, ход сразу переходит к следующей. Чем меньше загружены соседи, тем больше квантов достается остальным. Так и возникает эффект шумного соседа.
Провайдер может переключить планировщик в режим equal share или fixed share. Тогда каждой машине гарантирована своя доля времени и разброс скорости намного меньше. Обратная сторона: неиспользованные кванты соседей машина уже не получит.
MIG-backed vGPU построен на технологии MIG (Multi-Instance GPU), которая аппаратно делит ускоритель на изолированные части. У каждой части своя видеопамять, кэш и вычислительные блоки, а vGPU закрепляет каждую из них за отдельной виртуальной машиной. Машины работают одновременно, а вычислительные ресурсы и память изолированы на уровне MIG-экземпляров. Общими остаются лимит мощности, тепловой режим карты и ее подключение к серверу по PCIe.
Что показал тест
Разницу между режимами измерили в Colfax Research в 2024 году. Тест проводили на карте NVIDIA A30 под гипервизором Proxmox. Ускоритель разделили на четыре vGPU: сначала в режиме time-sliced, затем в режиме MIG-backed. Для одной машины измеряли пропускную способность памяти и скорость вычислений (матричное умножение в TF32): сначала при простое соседей, затем при работе всех четырех.
| Способ разделения | Память, соседи простаивают | Память, все активны | Вычисления, соседи простаивают | Вычисления, все активны |
|---|---|---|---|---|
| time-sliced vGPU | 786 ГБ/с | 160 ГБ/с | 68,8 TFLOPS | 14,5 TFLOPS |
| MIG-backed vGPU | 196 ГБ/с | 196 ГБ/с | 16,0 TFLOPS | 15,3 TFLOPS |
Пока соседи простаивали, машина в режиме time-sliced получала почти всю карту и обгоняла MIG вчетверо. Когда заработали все четыре машины, ее скорость упала почти в пять раз и оказалась ниже, чем у MIG. Иначе говоря, time-sliced выгоден, пока соседи не нагружают карту. Но клиент не видит их нагрузку и не может на нее повлиять.
В режиме MIG-backed пропускная способность памяти не изменилась. Скорость вычислений при работе всех четырех частей снизилась примерно на 5%. Авторы связывают это с общим лимитом мощности: когда тест запустили только на трех частях из четырех, каждая выдала полные 16 TFLOPS.
Троттлинг GPU
У каждого ускорителя два основных ограничения: лимит мощности (power limit) и предельная температура. Чем выше нагрузка, тем больше энергии потребляет карта и тем сильнее она нагревается.
Достигнув одного из лимитов, карта снижает тактовую частоту, и вычисления замедляются. При упоре в лимит мощности частота обычно снижается плавно. При перегреве или резком скачке потребления срабатывает аппаратная защита, и, согласно документации NVIDIA, частота падает вдвое и более.
На практике к лимитам приводят три ситуации:
Шумный сосед на уровне GPU появляется, только когда ускоритель делят между клиентами. Троттлинг определяется нагрузкой и нагревом самого ускорителя, поэтому бывает и на выделенном сервере.
Как шумные соседи и троттлинг влияют на инференс и обучение
Механизм у эффектов разный: шумный сосед забирает у задачи часть времени работы ускорителя, а троттлинг снижает его частоту. В обоих случаях задача выполняется медленнее.
При онлайн-инференсе каждый запрос короткий, и среднее замедление часто незаметно. Но влияние соседних нагрузок может проявляться в росте p95 и p99, то есть увеличении доли медленных ответов. Для сервисов с жесткими требованиями ко времени ответа это критично. Пакетный инференс, например обработка архива документов, накапливает замедление так же, как обучение.
Обучение модели занимает от нескольких часов до нескольких недель. Результат появляется только в конце, и все замедления складываются в общий срок. Если скорость упадет на 5%, как у MIG в тесте Colfax, четырехдневное обучение затянется примерно на пять часов.
Крупные модели обычно обучают сразу на нескольких ускорителях. После каждого шага они обмениваются результатами и не переходят к следующему, пока шаг не закончат все. Если один ускоритель замедлился, остальные ждут, и вся задача идет со скоростью самого медленного.
Тестовый запуск
Срок обучения можно оценить по тестовому запуску: измерить, сколько данных ускоритель обрабатывает за час, и пересчитать результат на весь объем.
Если ускоритель делят с соседями, тест может разойтись с реальным обучением. Во время теста соседи могли простаивать, а во время обучения работать. Тогда скорость упадет, и срок сдвинется.
Для пилотного проекта такое расхождение обычно допустимо. Если обучение входит в план релиза, предсказуемость срока нужно учитывать при выборе формата аренды наравне с ценой.
Выделенный сервер с GPU: без шумных соседей и с контролем троттлинга
Выделенный сервер с GPU — это физический сервер, целиком закрепленный за одним клиентом. Процессоры, оперативная память, диски и ускорители не делятся с другими арендаторами, так что внутри сервера шумных соседей нет.
Этим он отличается от облачной виртуальной машины с GPU в режиме passthrough. В passthrough ускоритель тоже принадлежит одному клиенту, но остальной сервер общий. vCPU могут быть переподписаны, а нагрузка других ВМ может влиять на общие ресурсы CPU, сеть и систему хранения. При этом сам GPU и его PCIe-подключение закреплены за одной виртуальной машиной. Их нагрузка замедляет чтение и подготовку данных, а вслед за ними и обучение. Сетевое хранилище, к слову, — один из самых частых и самых незаметных шумных соседей.
На выделенном сервере весь путь данных в распоряжении одного клиента: чтение с дисков, предобработка на процессорах, передача в видеопамять. Скорость обучения определяется только собственной нагрузкой и охлаждением.
Еще одно преимущество — прозрачность троттлинга. Клиент сам видит причины снижения частоты через nvidia-smi -q -d PERFORMANCE или NVIDIA DCGM и может отличить упор в лимит мощности от перегрева. Внутри виртуальной машины с vGPU такая телеметрия часто недоступна.
| Формат | Влияние соседей | Лимит мощности | Предсказуемость срока обучения | Подходит для |
|---|---|---|---|---|
| Time-sliced vGPU | скорость меняется вместе с нагрузкой соседей, в тесте разброс почти в 5 раз | общий с соседями | низкая при best effort, выше при equal share или fixed share | инференс, пилоты, эксперименты |
| MIG-backed vGPU | вычисления и память изолированы | общий с соседями, в тесте −5% вычислений | высокая на уровне выделенной MIG-партиции | инференс, переменная нагрузка |
| Passthrough | на GPU нет; процессоры, память, PCIe, сеть и СХД общие | только своя нагрузка | высокая по GPU, подготовка данных зависит от соседей | обучение средней длительности, инференс с жесткими требованиями к задержке |
| Выделенный сервер | нет | только своя нагрузка | высокая | длительное обучение, задачи с жестким сроком |
GPU-инфраструктура ITGLOBAL.COM
В ITGLOBAL.COM есть оба формата, и уровень изоляции можно выбрать под задачу.
Облачные серверы с GPU — это виртуальные машины с ускорителями NVIDIA H200 NVL, RTX PRO 6000 Blackwell, A100 и A800. Доступны режимы MIG-backed vGPU и time-sliced vGPU, а по запросу — passthrough. Лицензии NVIDIA AI Enterprise, без которых vGPU работает с ограничениями, уже включены. Формат подходит для инференса, пилотных проектов и переменной нагрузки.
Выделенные серверы с GPU (Dedicated GPU) — это физический сервер целиком для длительного обучения. Доступны конфигурации с флагманскими ускорителями NVIDIA H200 NVL и RTX PRO 6000. В конфигурациях с H200 NVL ускорители объединяются NVLink-мостами по две или четыре карты с пропускной способностью 900 ГБ/с. Сетевое подключение — от 25 Гбит/с, поэтому формат рассчитан на обучение в пределах одного сервера, до восьми GPU.
Итоги
Модель ускорителя и объем видеопамяти задают верхнюю границу скорости. Насколько близко к ней подойдет обучение, определяют условия работы карты: соседи и охлаждение.
Для инференса, пилотов и экспериментов часто подходит облачная модель, а конкретный способ предоставления GPU выбирают с учетом требований к производительности и изоляции. Для длительного обучения, где важна предсказуемость срока выполнения, стоит рассматривать выделенный сервер. Его мощности используются монопольно, троттлинг на нем зависит только от собственной нагрузки и охлаждения, а его причины клиент видит сам.
Частые вопросы
Это задача другого клиента на той же физической карте или на том же сервере. Она забирает часть ресурсов и замедляет соседние задачи.
Это снижение тактовой частоты карты при достижении лимита мощности или предельной температуры. Так GPU защищает себя от перегрузки, и все задачи на карте работают медленнее.
Нет. Пока соседи простаивают, машина в режиме time-sliced vGPU может получить скорость, близкую к полной карте: в тесте Colfax она была вчетверо выше, чем у части MIG. Но на долгой задаче нельзя рассчитывать, что соседи будут простаивать весь срок обучения.
MIG изолирует память и вычислительные блоки, поэтому пропускная способность памяти стабильна. Лимит мощности остается общим на всю карту: в тесте Colfax при работе всех четырех частей скорость вычислений каждой снизилась примерно на 5%.
Да. При долгой нагрузке карта снижает частоту из-за лимита мощности или температуры. Чужие задачи на этот эффект не влияют, а причины снижения частоты клиент видит в nvidia-smi или DCGM.
Не всегда. Для онлайн-инференса часто достаточно облака с MIG-backed vGPU. Исключение — сервисы с жесткими требованиями ко времени ответа. Для них на тесте стоит проверить не только среднюю задержку, но и p95–p99.
Предыдущая статья
