Qooqa Tech развивает технологический продукт на основе искусственного интеллекта, ИИ-рекрутера, который использует большие языковые модели для обработки информации и автоматизации отдельных этапов работы с кандидатами.
Ядро платформы и ИИ-агенты работают на открытых языковых моделях, развернутых во внутреннем контуре Qooqa Tech без обращения к внешним LLM API. Поэтому для работы продукта необходима производительная GPU-инфраструктура, способная обеспечить стабильный инференс моделей в промышленном режиме.
По мере роста клиентской базы увеличилась и нагрузка на платформу. GPU предыдущего поколения, которые использовала Qooqa Tech, уже ограничивали скорость инференса, а доступного объема видеопамяти было недостаточно для перехода на более крупные модели. Для ИИ-рекрутера скорость имеет прямое влияние на пользовательский опыт: кандидат и рекрутер должны получать ответы системы без длительных задержек.
Одновременно завершался срок использования инфраструктуры у предыдущего провайдера. Команде Qooqa Tech требовалось за ограниченный срок подобрать новую площадку, развернуть более производительную GPU-инфраструктуру и перенести на нее рабочие нагрузки без простоя.
Задача
Изначально заказчик рассматривал несколько вариантов инфраструктуры: выделенные серверы с NVIDIA RTX PRO 6000 Blackwell Server Edition , серверы с NVIDIA H200 и облачные GPU-ресурсы.
Qooqa Tech сформулировала несколько требований к новой инфраструктуре:
Решение
Подбор конфигурации
С учетом требований команда ITGLOBAL.COM предложила Qooqa Tech протестировать NVIDIA H200 и NVIDIA RTX PRO 6000 Blackwell Server Edition.
По результатам технического тестирования заказчик выбрал выделенные сервера с NVIDIA H200 так как данная модель услуги предоставляет заказчику полный доступ к ресурсам физического сервера, возможность самостоятельно создавать виртуальные машины и распределять между ними вычислительные ресурсы.
Специалисты ITGLOBAL.COM подобрали конфигурацию с учетом используемых языковых моделей и профиля нагрузки Qooqa Tech. Итоговая конфигурация сервера включает процессоры Intel Xeon, оперативную память DDR5, три ускорителя NVIDIA H200 с 141 ГБ видеопамяти каждый, NVMe-хранилище, высокоскоростные сетевые интерфейсы и гипервизор VMware ESXi.
GPU 01 и GPU 02 работают совместно; GPU 03 используется для независимых нагрузок.
Две H200 объединили через NVIDIA NVLink Bridge. Они используются совместно для работы основной языковой модели примерно на 122 млрд параметров. Такая модель вместе с KV-кэшем требует больше видеопамяти, чем доступно на одном ускорителе, поэтому вычисления распределяются между двумя GPU в режиме tensor parallelism. NVLink обеспечивает высокоскоростной обмен данными между ускорителями.
Третью NVIDIA H200 выделили под независимый контур, в котором работают вспомогательная языковая модель на 35 млрд параметров и embedding-модель. Такое распределение ресурсов позволяет отделить тяжелую генерацию основной LLM от более быстрых операций и снизить взаимное влияние разных типов нагрузки.
Для прямого подключения GPU к виртуальным машинам используется PCI Passthrough. Технология позволяет виртуальной машине работать с видеокартой напрямую, без программной эмуляции устройства со стороны гипервизора. Благодаря этому команда Qooqa Tech может самостоятельно распределять физические GPU между виртуальными машинами в зависимости от типа нагрузки.
Интеграция GPU-сервера с существующим облаком
Еще одной задачей проекта стала интеграция выделенного GPU-сервера с виртуальной инфраструктурой Qooqa Tech.
Необходимо было обеспечить взаимодействие рабочих нагрузок на GPU-сервере с виртуальными машинами в облачном контуре, при этом не перестраивая существующую сетевую архитектуру заказчика.
Для этого инженеры ITGLOBAL.COM спроектировали L3-связность на базе VMware NSX. Специалисты ITGLOBAL.COM:
выделили отдельный сетевой сегмент для GPU-сервера;
подключили его к физическим портам выделенного оборудования;
настроили Service Interface на NSX Edge;
организовали маршрутизацию между виртуальным дата-центром и виртуальными машинами на выделенном сервере;
предусмотрели доступ GPU-инфраструктуры в интернет для загрузки моделей, контейнеров и других программных компонентов;
проверили адресные пространства на отсутствие пересечений.
Так выделенный GPU-сервер стал частью существующего инфраструктурного контура Qooqa Tech. Облачные и выделенные ресурсы сохранили отдельные подсети, но получили двустороннюю сетевую связность.
Результат
Qooqa Tech получила выделенную GPU-инфраструктуру на трех NVIDIA H200, адаптированную под профиль нагрузок платформы и интегрированную с существующим облачным контуром.
Переход на H200 позволил повысить производительность инференса и использовать более крупные языковые модели. В частности, в продуктивной среде Qooqa Tech была развернута модель на 122 млрд параметров. По данным Qooqa Tech, сегодня инфраструктура:
В продуктивном контуре одновременно работают основная LLM на двух связанных H200, вспомогательная модель и embedding-модель на отдельном ускорителе.
Для пользователей Qooqa Tech новая инфраструктура означает прежде всего более быстрые ответы ИИ-рекрутера и возможность использовать более производительные модели без передачи данных во внешние AI-сервисы.
Аренда выделенной GPU-инфраструктуры также позволила Qooqa Tech отказаться от капитальных затрат на приобретение собственного оборудования и зафиксировать расходы на согласованный срок использования.
КОММЕНТАРИЙ · QOOQA TECH«Нам была нужна редкая для российского рынка комбинация: современные GPU NVIDIA H200, размещение инфраструктуры в России, сжатые сроки запуска и интеграция с существующим облачным контуром. ITGLOBAL.COM удалось закрыть эти требования одновременно. Сегодня наша платформа обрабатывает сотни тысяч LLM-запросов в сутки», — Дмитрий Аболмасов, технический директор Qooqa Tech.
КОММЕНТАРИЙ · ITGLOBAL.COM«В ближайшие годы конкурентоспособность ИИ-продуктов будет во многом зависеть от того, насколько быстро компании смогут наращивать вычислительные мощности и внедрять более сложные модели. Использование модульной платформы NVIDIA MGX позволяет реализовывать индивидуальные конфигурации под текущие задачи и гибко масштабировать вычислительные мощности по мере роста ИИ-продукта, обеспечивая необходимую производительность на каждом этапе», — прокомментировал Евгений Свидерский, вице-президент по облачным сервисам ITGLOBAL.COM, корпорация ITG.