Всё, что вы хотели знать о серверах высокой плотности

Комментарии к ряду публикаций на «Хабре» показывают: не у всех есть понимание того, что такое серверы высокой плотности, какие у них возможности и область применения. Этим постом мы хотели бы прояснить тему. И заодно открыть серию статей о высокопроизводительных вычислениях — HPC (high performance computing).

Серверы высокой плотности (СВП) постоянно упоминаются в контексте суперкомпьютеров, виртуализации и облачных технологий, поисковых и аналитических систем, а также систем параллельного вычисления. Расскажем о плюсах-минусах СВП и приведем примеры использования.

Блейд-серверы

Первые СВП появились в 2000-м: американцы RLX Technologies создали трехюнитовую систему на 24 «лезвия» (blades). Наибольший интерес к ней проявили военные и NASA. Hewlett Packard, осознав перспективность технологии, в 2005-м поглотили RLX Technologies. Кроме HP, эту технологию сумели развить Intel, Dell, IBM, Sun и другие известные вендоры.

В корпус блейд-систем, наряду с серверами, интегрируются сетевые и системные порты, платы внутренней коммутации, охлаждение и питание; такая конфигурация — главное отличие блейд от rack-серверов. Все это объединяется на одной материнской плате, обычно пассивной BackPlane. Используются, как правило, процессоры x86/x64, но возможны и другие варианты: RISC, ARM, MIPS.

Полностью сконфигурированная система может занимать от 3 до 10U. При этом «чемпионы» по плотности — HP Blade и DELL PowerEdge. Основной ограничитель в вопросе уплотнения — высокое тепловыделение процессоров, которое требует достаточно габаритной системы охлаждения.

Преимущества блейд-серверов

• Можно использовать несколько типов сетевых интерфейсов: Ethernet, Fibre Channel, InfiniBand;
• Высокая плотность размещения;
• Единый корпус-шасси;
• Возможность замены некоторых элементов в «горячем режиме»;
• Более широкий функционал мониторинга и управления (сравнительно с Rack);
• Резервирование питания и охлаждения;
• Возможность установки собственных дисковых накопителей.

Недостатки

• Проприетарный подход производителей: клиент вынужден строить свою блейд-серверную инфраструктуру на базе одного вендора;
• Дороговизна: чтобы ощутить экономическую выгоду в сравнении с теми же Rack-серверами, заполнение блейд-комплекта должно быть не менее 70%;
• Конфигурации блейдов ограничены для расширения;
• Нельзя сделать блейд самостоятельной серверной единицей;
• Тепловыделение ограничивает возможность использования топовых процессоров;
• Нельзя задействовать разные сетевые интерфейсы вместе;
• Большой «аппетит» по питанию и охлаждению.

Dell PowerEdge M1000e

Возьмем этот сервер в качестве примера. Основные характеристики:

• Парная система работы коммутаторов внутри шасси — для повышения отказоустойчивости. Коммутаторы внутри пары должны быть идентичными, но в комбинации пар можно использовать разные.
• Доступная плотность — 3,2 сервера на 1U (при использовании блейдов типа M420).
• От 2 до 4 процессоров для каждого сервера и от 8 до 32 «лезвий» в одном шасси (зависит от подобранных процессоров).
• Для повышения отказоустойчивости ставится пара модулей управления и мониторинга, которые управляют любым блейдом удаленно. Администратору будут доступны включение, работа с BIOS и другие возможности, вплоть до доступа к модулю виртуализации KVM; модуль слову, не имеет резервирования.
• Множество интерфейсов у каждого «лезвия»: 1GbE (базовый), 10GbE, 8Gb/s FC, IB DSR, DDR и др.
• Доступно 1-2 мезонин-модуля с четырьмя портами 1GbE, либо двумя другого типа.
• Есть возможность загрузки с одной из двух доступных SD-карт.

Twin-серверы как альтернатива Blade

Технология Twin — разработка Intel, которую представили в 2006 году. Twin-серверы — это 1-юнитовая конструкция из двух серверов с одним БП и коммутационными разъемами на задней панели. Решение стало популярным: появились 1-, 2- и 4-юнитовые twin, в которые можно устанавливать от 2 до 8 двухсокетных серверов или один четырехсокетный.

Преимущества twin-серверов:

• Единый корпус-шасси;
• Встроенная СХД;
• Поддержка интерфейсов Ethernet (до 10 Гб/с) и InfiniBand (SDR, QDR, DDR, FDR);
• Как и в случае с блейдами, есть встроенные компоненты системы отказоустойчивости;
• Высокая плотность;
• Поддержка PCI плат;
• Дешевле, чем Rack и блейды.

Недостатки:

• Нельзя сделать сервер самостоятельной единицей;
• Нужны отдельные сетевые коммутаторы;
• Тепловыделение ограничивает возможность использования самых мощных процессоров;
• При плотной установке в шкаф — высокая нагрузка на охлаждение и питание
• Худшая, чем у блейдов плотность.

Микросерверы

Новая мода в индустрии конструктивов для ЦОД-ов — микросерверы, которые отличаются от blade и twin еще меньшими габаритами и низким потреблением энергии. Разумеется, это накладывает ограничение на производительность. Микросерверы выигрывают в ситуации, когда клиентские приложения не требовательны к аппаратным ресурсам, в первую очередь к мощности серверов. Микросерверы можно использовать как альтернативное решение для виртуализации, а также для несложных офисных задач.

Заключение

Использование различных типов серверов высокой плотности определяется конкретными бизнес-задачами. Кому-то важна плотность, которую дают блейды, но не критична латентность (время отклика) используемых на блейдах портов 10GbE. Другим, наоборот, нужна более низкая латентность PCIe карт у twin-серверов. У микросерверов же своя ниша.

В этом посте мы попытались показать, что все три рассмотренных варианта СВП могут отлично дополнять друг друга. О преимуществах того или другого типа серверов лучше говорить в контексте реальных проектов. Наша команда всегда готова поделиться рекомендациями.