Обучение и дообучение ИИ-моделей в финансовых и медицинских организациях часто связано с обработкой чувствительных данных: персональных и биометрических данных, сведений о состоянии здоровья, транзакционной информации. В таких проектах производительности GPU недостаточно — необходимо учитывать требования к хранению и обработке информации, модель угроз и правила доступа к инфраструктуре.
Поэтому еще на этапе проектирования AI-инфраструктуры возникает вопрос: где физически будут обрабатываться данные, как изолирован вычислительный контур и кто имеет доступ к ресурсам, на которых выполняется обучение моделей.
Один из вариантов — выделенная GPU-инфраструктура на базе bare-metal. Физический сервер целиком закрепляется за одним заказчиком, поэтому его вычислительные ресурсы не используются нагрузками других клиентов. Такая архитектура может упростить организацию изолированного контура, но сама по себе не обеспечивает соответствие требованиям законодательства или отраслевых стандартов.
Разберем, в каких случаях имеет смысл использовать bare-metal для AI-нагрузок и что необходимо учитывать при построении защищенной инфраструктуры.
Какие требования нужно учитывать при работе с чувствительными данными
Конкретный набор требований зависит от типа данных, информационной системы, модели угроз и отрасли, в которой работает компания.
Персональные данные
Основные требования к обработке персональных данных устанавливает Федеральный закон № 152-ФЗ. При проектировании информационной системы персональных данных необходимо определить требуемый уровень защищенности и набор организационных и технических мер.
Уровень защищенности ИСПДн определяется не только категорией данных. Учитываются тип актуальных угроз, количество субъектов персональных данных, категория обрабатываемой информации и другие характеристики системы.
Для проектов с ИИ это означает, что требования к инфраструктуре необходимо определять для конкретного сценария: обучение собственной модели, инференс, подготовка датасета, обработка данных клиентов и так далее.
Медицинские данные
Сведения о состоянии здоровья относятся к специальным категориям персональных данных и подпадают под действие 152-ФЗ.
Дополнительно необходимо учитывать требования Федерального закона № 323-ФЗ к врачебной тайне. К ней относятся, в частности, сведения о факте обращения за медицинской помощью, состоянии здоровья и диагнозе пациента.
При построении AI-инфраструктуры для работы с медицинской информацией необходимо определить уровень защищенности ИСПДн и подобрать соответствующие организационные и технические меры.
Биометрические данные
Работа с биометрическими персональными данными регулируется 152-ФЗ, а для отдельных сценариев идентификации и аутентификации применяются специальные требования Федерального закона № 572-ФЗ и связанных с ним нормативных актов.
Наличие физически изолированного сервера не отменяет требований законодательства к допустимым способам хранения и обработки биометрических данных. Поэтому архитектуру AI-контура необходимо проектировать совместно с ИБ- и юридическими специалистами с учетом конкретного сценария использования данных.
Финансовые данные
Для финансовых организаций действуют дополнительные отраслевые требования к защите информации.
Для кредитных организаций требования устанавливаются, в частности, нормативными актами Банка России и стандартами семейства ГОСТ Р 57580.
Если инфраструктура работает с данными платежных карт, необходимо также учитывать требования PCI DSS, включая определение и защиту Cardholder Data Environment — среды, в которой хранятся, обрабатываются или передаются карточные данные.
| Тип данных / система | Что необходимо учитывать |
| Персональные данные | 152-ФЗ, ПП РФ № 1119, требования к защите ИСПДн |
| Медицинские данные | 152-ФЗ, 323-ФЗ, требования к врачебной тайне |
| Биометрические данные | 152-ФЗ, а для отдельных сценариев — 572-ФЗ и связанные требования |
| Информационные системы финансовых организаций | Требования Банка России, ГОСТ Р 57580 |
| Данные платежных карт | PCI DSS и требования к защите CDE |
Точный набор требований необходимо определять для конкретной информационной системы. Сам по себе тип инфраструктуры — собственный сервер, облако или bare-metal у провайдера — не определяет соответствие требованиям.
Где размещать GPU-инфраструктуру
У компаний, которые планируют обучать или запускать ИИ-модели на чувствительных данных, есть несколько базовых вариантов инфраструктуры.
Собственная инфраструктура
Компания приобретает GPU-серверы и размещает их в собственном ЦОД или на площадке colocation.
Такой подход дает высокий уровень контроля над аппаратной и программной инфраструктурой, но требует значительных первоначальных инвестиций.
В затраты входят не только GPU-серверы, но и:
- сетевое оборудование;
- системы хранения данных;
- электропитание и охлаждение;
- резервирование;
- средства информационной безопасности;
- эксплуатация и техническая поддержка.
Для современных GPU дополнительным ограничением могут стать требования к мощности и охлаждению. Кроме того, закупка оборудования и подготовка инфраструктуры увеличивают срок запуска проекта.
Облачная GPU-инфраструктура
В облаке компания получает GPU как вычислительный ресурс и может быстрее масштабировать инфраструктуру без покупки оборудования.
Архитектура облачного сервиса при этом может быть разной. В зависимости от реализации GPU может предоставляться целиком одному клиенту либо разделяться между несколькими нагрузками с помощью технологий виртуализации.
Мультитенантность сама по себе не означает, что облачная инфраструктура не подходит для регулируемых данных. При выборе площадки необходимо оценивать архитектуру сервиса, используемые механизмы изоляции, модель ответственности между клиентом и провайдером и применимые требования к конкретной информационной системе.
Bare-metal GPU
Bare-metal занимает промежуточную позицию между приобретением собственного оборудования и использованием разделяемой облачной инфраструктуры.
Заказчик арендует целый физический сервер с GPU. Вычислительные ресурсы сервера — процессоры, оперативная память, накопители и GPU — закреплены за одним клиентом и не используются нагрузками других заказчиков.
При этом компания не приобретает оборудование и не занимается его физической эксплуатацией.
| Параметр | Своя GPU-инфраструктура | Shared GPU | Bare-metal GPU |
| Первоначальные капитальные затраты | Высокие | Нет | Нет |
| Физически выделенный сервер | Да | Зависит от архитектуры сервиса | Да |
| Срок запуска | Зависит от закупки и развертывания | Обычно минимальный | Зависит от наличия оборудования |
| Масштабирование | Требует закупки оборудования | Гибкое | Подключение дополнительных серверов |
| Контроль ОС и ПО | Высокий | Зависит от модели сервиса | Высокий |
| Эксплуатация оборудования | На стороне компании | На стороне провайдера | На стороне провайдера |
Что дает bare-metal при работе с чувствительными данными
Основное отличие bare-metal от мультитенантной инфраструктуры — физическая изоляция вычислительного узла.
Весь сервер закрепляется за одним заказчиком. На том же процессоре, в той же оперативной памяти и на тех же GPU не работают приложения других клиентов провайдера.
Для AI-проектов это дает несколько преимуществ.
Физическая изоляция ресурсов
Отсутствуют соседние пользовательские нагрузки на том же физическом сервере.
Это снижает класс рисков, связанных с совместным использованием аппаратных ресурсов несколькими независимыми клиентами, и может упростить проектирование защищаемого контура.
Контроль программной среды
На выделенном сервере заказчик может самостоятельно определить программный стек:
- операционную систему;
- гипервизор;
- драйверы GPU;
- CUDA;
- контейнерную платформу;
- средства мониторинга;
- средства информационной безопасности.
Важно: bare-metal не означает обязательное отсутствие гипервизора. Заказчик может самостоятельно установить VMware ESXi, KVM, Proxmox или другую платформу виртуализации. Отличие заключается в том, что физический сервер не делится между независимыми заказчиками провайдера.
Изоляция разных типов нагрузки
На выделенном сервере можно самостоятельно проектировать сетевые сегменты, виртуальные машины, контейнеры и правила доступа.
Например, обучающий контур можно отделить от production-инференса или сервисов подготовки данных.
Предсказуемые ресурсы GPU
GPU не используются нагрузками других клиентов, поэтому заказчик может самостоятельно управлять их загрузкой и распределением между своими задачами.
Для обучения и инференса крупных моделей это важно не только с точки зрения безопасности, но и для прогнозируемости производительности.
Чего bare-metal не решает
Физически выделенный сервер — это инфраструктурный компонент, а не готовый compliance-контур.
Сам по себе bare-metal не обеспечивает выполнение требований 152-ФЗ, нормативных актов Банка России, PCI DSS или других стандартов.
Дополнительно могут потребоваться:
- разработка модели угроз;
- разграничение доступа;
- многофакторная аутентификация;
- сегментация сети;
- журналирование действий;
- управление уязвимостями;
- криптографическая защита;
- резервное копирование;
- защита административного доступа;
- организационные меры;
- использование необходимых средств защиты информации;
- оценка соответствия требованиям — если она предусмотрена для конкретной системы.
Поэтому вопрос при проектировании инфраструктуры должен звучать не «соответствует ли bare-metal 152-ФЗ», а какие требования предъявляются к конкретной информационной системе и какая архитектура позволит их реализовать.
Как выбирать GPU-провайдера для защищенного контура
Для проектов, связанных с чувствительными данными, при выборе провайдера стоит проверить не только модель GPU и стоимость аренды.
Уточнить модель выделения ресурсов
Терминология GPU-сервисов на рынке различается. Под «выделенным GPU» может подразумеваться как целая карта, так и отдельный виртуальный профиль.
Поэтому необходимо уточнить:
- выделяется ли заказчику весь физический сервер;
- используются ли его CPU и RAM другими клиентами;
- закрепляется ли GPU целиком за заказчиком;
- применяется ли vGPU или MIG;
- используется ли GPU passthrough;
- кто имеет административный доступ к серверу.
При этом сама технология passthrough не означает, что инфраструктура разделяется между заказчиками: она может применяться и на полностью выделенном физическом сервере.
Проверить расположение инфраструктуры
Если проект связан с требованиями локализации персональных данных, необходимо уточнить, в каком дата-центре физически находится конкретный сервер.
Требования следует проверять применительно к конкретному контуру, а не только к провайдеру в целом.
Определить сетевую архитектуру
Нужно заранее понять, как GPU-сервер будет взаимодействовать с:
- существующей облачной инфраструктурой;
- базами данных;
- хранилищами;
- корпоративной сетью;
- внешними сервисами.
При необходимости для AI-нагрузки можно организовать отдельный сетевой сегмент и ограничить его взаимодействие с другими системами.
Проверить компетенции провайдера в информационной безопасности
Если инфраструктура используется в регулируемой отрасли, важно оценивать не только наличие GPU, но и возможность провайдера участвовать в построении защищенного контура.
Например, предоставить защищенную облачную инфраструктуру, средства информационной безопасности или помочь с оценкой соответствия.
GPU-инфраструктура ITGLOBAL.COM для приватных AI-контуров
ITGLOBAL.COM предоставляет выделенные серверы с GPU для обучения моделей, инференса и других ресурсоемких AI-задач.
В доступных конфигурациях используются, в частности, ускорители NVIDIA RTX PRO 6000 Blackwell Server Edition и H200.
При использовании выделенного сервера физический узел закрепляется за одним заказчиком: его вычислительные ресурсы не используются нагрузками других клиентов. Заказчик может самостоятельно управлять программным стеком, виртуализацией и распределением GPU между своими задачами.
Такой вариант подходит для проектов, где одним из требований к архитектуре является физическая изоляция вычислительных ресурсов.
При этом выделенный GPU-сервер не следует автоматически считать инфраструктурой, соответствующей определенному регуляторному режиму. Требования необходимо определять для каждого проекта отдельно.
Для работы с персональными данными у ITGLOBAL.COM также есть отдельное решение — Облако ФЗ-152. Это защищенная облачная инфраструктура для размещения информационных систем персональных данных.
Выделенные GPU-серверы и Облако ФЗ-152 — разные инфраструктурные продукты. При необходимости их можно рассматривать как компоненты общей архитектуры, а конкретная схема определяется исходя из требований заказчика и проектируемой информационной системы.
Дополнительно специалисты ITGLOBAL.COM оказывают услуги в области информационной безопасности и оценки соответствия требованиям законодательства и отраслевых стандартов.
Таким образом, для AI-проекта заказчик может получить не только вычислительные мощности, но и набор инфраструктурных и ИБ-компонентов для построения защищенного контура.
FAQ
Нет. 152-ФЗ предъявляет требования к обработке и защите персональных данных в информационной системе в целом. Физическая изоляция сервера может быть одним из элементов архитектуры, но не заменяет организационные и технические меры защиты.
Да. Заказчик может установить на выделенном сервере собственный гипервизор и развернуть виртуальные машины. Ключевое отличие bare-metal заключается не в отсутствии виртуализации, а в том, что сам физический сервер закреплен за одним клиентом.
Да, если конкретная архитектура и реализованные меры защиты соответствуют требованиям информационной системы. Мультитенантность сама по себе не делает облако несовместимым с требованиями законодательства.
В bare-metal весь физический сервер закреплен за одним клиентом. В shared cloud вычислительная инфраструктура может использоваться несколькими заказчиками, а разделение ресурсов обеспечивается средствами виртуализации. Конкретная архитектура зависит от реализации сервиса у провайдера.
Нет. Помимо инфраструктурной изоляции необходимо выполнить требования, которые распространяются на конкретную информационную систему: организовать управление доступом, защиту сети, журналирование, резервное копирование и другие организационные и технические меры.
Предыдущая статья
