Языковые модели среднего размера содержат около 30 млрд параметров. Например, у DeepSeek-R1-Distill-Qwen-32B их примерно 33 млрд. Такие модели целиком помещаются на NVIDIA RTX PRO 6000 Blackwell Server Edition: у карты 96 ГБ видеопамяти, и в восьмибитном формате веса занимают треть этого объема. Оставшиеся две трети расходуются на работу. На коротких запросах карта обслуживает десятки пользователей одновременно, на длинных их число падает в разы. Когда свободной памяти не остается, сервер отказывает в запросе или ставит его в очередь.
Причина в KV-кеше. Веса модели занимают фиксированный объем, кеш растет с каждым токеном контекста и с каждым одновременным запросом. Как следствие, у карты два ограничения: сколько параметров в нее помещается по весам и сколько их остается, когда рядом с весами лежит кеш. Разбираемся, как считается каждое и что делать, когда модель не помещается на одной карте.
Что умещается в 96 ГБ в задачах инференса
При инференсе, то есть при генерации ответов уже обученной моделью, видеопамять расходуют три составляющие. Веса модели требуют фиксированного объема: в FP16 это 2 байта на параметр, в FP8 один байт, в FP4 полбайта. KV-кеш хранит ключи и значения уже обработанных токенов. Буферы держат промежуточные результаты, и движок инференса резервирует их заранее.
Отсюда два ограничения, и их стоит различать.
Предел по весам — сколько параметров умещается, если отдать под веса всю видеопамять карты. Он считается делением объема памяти на число байт на параметр.
Рабочий предел — сколько параметров остается, когда в той же памяти должны поместиться KV-кеш и буферы под целевое число одновременных запросов. Он зависит от длины контекста и потока запросов и всегда ниже первого.
Объем кеша на один токен считается по конфигурации внимания модели:
2 × число слоев × число KV-голов × размерность головы × байт на значение
Множитель 2 — это два тензора, ключи и значения. Результат умножают на длину контекста в токенах и получают объем кеша на один запрос. Формат хранения кеша задается отдельно от формата весов: перевод весов в FP8 сам по себе кеш не сжимает.
Пример: DeepSeek-R1-Distill-Qwen-32B, примерно 33 млрд параметров. У модели 64 слоя, 8 KV-голов и размерность головы 128. В 8-битном формате каждое значение занимает 1 байт.
2 × 64 × 8 × 128 × 1 = 131 072 байта, то есть 128 КиБ на один токен.
Запрос с промптом на 8192 токена и ответом на 1024 токена удерживает в кеше 9216 токенов, в десятичных гигабайтах это 1,21 ГБ.
| Формат весов | Предел по весам для 96 ГБ | Веса модели на 33 млрд | Остаток под кеш и буферы | Запросов по 9 тыс. токенов |
|---|---|---|---|---|
| FP16 | около 48 млрд параметров | 66 ГБ | 30 ГБ | 25 |
| FP8 | около 96 млрд параметров | 33 ГБ | 63 ГБ | 52 |
| FP4 | около 192 млрд параметров | 16,5 ГБ | 79,5 ГБ | 65 |
Последняя колонка во всех трех строках посчитана для кеша в FP8, по 1,21 ГБ на запрос. Строка FP4 относится к поколению Blackwell: тензорные ядра этой карты считают в четырехбитном формате. Буферы забирают часть остатка, поэтому практическое число запросов ниже. Точность ответов в FP4 проверяется на собственных запросах.
Длина контекста входит в расчет множителем. Тот же запрос на 32 тыс. токенов вместо 9 тыс. удерживает 4,29 ГБ кеша, и на тех же 63 ГБ помещается уже 14 запросов вместо 52. Поэтому перед выбором карты смотрят не только размер модели, но и типичную длину запроса.
Расчет под свою задачу идет по шагам:
01
02
03
04
По итогу становится ясно, нужна ли группа карт или хватит одной.
Скорость генерации: 1597 ГБ/с
Объем памяти определяет, что поместится на карту. За скорость генерации отвечает пропускная способность памяти. У RTX PRO 6000 Blackwell Server Edition это 1597 ГБ/с.
Ответ генерируется по одному токену. На каждом шаге модель читает из видеопамяти все веса и KV-кеш обрабатываемых запросов. Отсюда верхняя граница: 1597 ГБ/с делим на 33 ГБ весов и получаем около 48 токенов в секунду для одного запроса.
Цифра получена расчетом из пропускной способности. Для весов в FP16 тот же расчет дает 24 токена в секунду.
Предзаполнение (prefill) устроено иначе: весь промпт обрабатывается за один проход и нагружает вычислительные блоки. Здесь работают пиковые цифры NVIDIA для этой карты, 4 PFLOPS в FP4 и 2 PFLOPS в FP8.
У ускорителей с памятью HBM3e потолок выше втрое: 4,8 ТБ/с против 1597 ГБ/с.
vGPU-профили RTX PRO 6000 Blackwell Server Edition
Карту отдают виртуальной машине (ВМ) целиком или делят между несколькими ВМ через NVIDIA vGPU. При разделении объем видеопамяти машине задает профиль vGPU, и расчет размещения модели ведется от этой величины.
Для RTX PRO 6000 Blackwell Server Edition в режиме time-slicing доступны vGPU-профили на 96, 48, 32, 24, 16, 12 и 8 ГБ. В зависимости от профиля на одном физическом GPU можно разместить от одной до двенадцати виртуальных машин.
В профиль на 24 ГБ модель на 33 млрд параметров в FP8 не помещается: только веса занимают 33 ГБ. В FP4 те же веса укладываются в 16,5 ГБ, и на кеш остается 7,5 ГБ, этого хватает примерно на 57 тыс. токенов. Профиль выбирается при создании машины и меняется только на выключенной, поэтому объем считают до запуска.
Несколько RTX PRO 6000 Blackwell SE без NVLink
Модель, которая не умещается в одну карту, распределяют между несколькими. Механизм называется тензорным параллелизмом: слой считается на нескольких ускорителях сразу, и после каждого слоя карты обмениваются результатами. Время обмена задает канал между ними.
Серверные ускорители NVIDIA обмениваются данными между собой по шине NVLink. У RTX PRO 6000 Blackwell Server Edition NVLink нет, поэтому карты в сервере подключаются по PCIe Gen5. Для подключения PCIe 5.0 x16 теоретическая пропускная способность составляет до 128 ГБ/с в дуплексном режиме — суммарно в двух направлениях. NVIDIA приводит эту цифру в спецификации H200, там же стоит NVLink-мост на 900 ГБ/с на GPU. Разница примерно семикратная.
Отсюда следствие для сборки. Обмен идет после каждого слоя, и у моделей это десятки шагов на один токен. Чем уже канал, тем большую долю времени генерации занимает передача, и тем меньше прирост от каждой следующей карты. Суммарная видеопамять при этом складывается полностью: три карты дают 288 ГБ независимо от канала.
Как запустить LLM, если 96 ГБ VRAM недостаточно
Открытые модели последних поколений на одну карту уже не помещаются. Например, Qwen3-235B-A22B-Instruct-2507 содержит 235 млрд параметров, из них 22 млрд активируются на каждый токен.
Активные параметры задают объем вычислений на токен. Память нужна под все веса сразу: эксперты, которые на текущем шаге не работают, остаются в видеопамяти. Веса опубликованы в FP8, и в этом формате 235 млрд параметров занимают около 235 ГБ. Это вдвое с лишним больше того, что вмещает карта.
Под такую модель объединяют несколько карт. Три карты дают 288 ГБ, под веса уходит 235 ГБ, на кеш и буферы остается 53 ГБ. По памяти конфигурация рабочая, и она же ограничена каналом: обмен после каждого слоя идет по PCIe Gen5.
Альтернатива этой сборке — две H200 NVL: 282 ГБ, остаток около 47 ГБ, обмен по NVLink-мосту на 900 ГБ/с на GPU. По памяти обе конфигурации рабочие, а выбор между ними зависит от требований к времени ответа: чем он жестче, тем раньше выбор уходит к картам с мостом. Группа без моста дает объем, но не скорость обмена. Если жесткого порога нет, трех таких карт модели достаточно.
Три сценария закрываются без моста.
01
02
03
Отсутствие моста сказывается только тогда, когда одну модель делят между картами.
Итоги
У карты два ограничения, и считать нужно оба. Предел по весам зависит только от числа байт на параметр. Рабочий предел зависит еще от длины запроса и числа одновременных запросов, поэтому он всегда ниже.
Скорость генерации упирается в пропускную способность памяти. Пиковые цифры FP4 и FP8 относятся к обработке промпта и скорость выдачи токенов не описывают.
Ограничение по каналу появляется только при сборке из нескольких карт. NVLink у этой карты нет, и группа обменивается данными по PCIe Gen5, примерно в семь раз медленнее NVLink-моста. Поэтому несколько таких карт берут под независимые копии модели или делят профилями между сервисами. Группу под одну модель собирают, когда нужен объем памяти, а жесткого порога времени ответа у сервиса нет.
Часто задаваемые вопросы
Сколько параметров LLM помещается в RTX PRO 6000 Blackwell 96 ГБ?
По весам в 96 ГБ помещается около 96 млрд параметров в FP8 и около 48 млрд в FP16. Это теоретическая оценка: часть видеопамяти требуется для KV-кеша и буферов, поэтому фактически доступный объем под модель будет меньше.
Как рассчитать KV-кеш для LLM?
Объем KV-кеша на один токен рассчитывается как 2 × число слоев × число KV-голов × размерность головы × байт на значение. Все четыре величины берутся из конфигурации модели. Результат умножается на длину контекста и число одновременных запросов.
Можно ли объединить несколько RTX PRO 6000 для запуска одной LLM?
Да. При шардировании модели можно использовать совокупный объем видеопамяти нескольких GPU. При этом память каждого ускорителя остается физически отдельной, а обмен данными между картами RTX PRO 6000 идет через PCIe Gen5.
Поместится ли LLM на 33 млрд параметров в vGPU-профиль RTX PRO 6000 на 24 ГБ?
В FP8 такая модель не помещается: только веса занимают около 33 ГБ. В FP4 расчетный объем весов составляет 16,5 ГБ, поэтому из 24 ГБ остается около 7,5 ГБ под KV-кеш и буферы. Теоретически этого объема хватает примерно на 57 тыс. токенов KV-кеша.
Предыдущая статья
