Для обработки больших данных в реальном времени вычислительных мощностей никогда не бывает много. Для тех же вычислений в оперативной памяти — In-Memory Computing, которые применяются, например, в СУБД SAP HANA, вопрос производительности серверов самый насущный.
При традиционном, вертикальном, подходе к масштабированию инфраструктуры всё упирается в его стоимость. Регулярный апгрейд — если говорить о Hi-End оборудовании — выливается в миллионные расходы. Но даже арендованные аппаратные ресурсы не всегда решают проблему: запрос на новые мощности бывает ограничен возможностями поставщика.
Два года назад появилось программное решение, которое в значительной степени избавляет бизнес от финансовых и ресурсных ограничений. Называется оно TidalScale и основано на технологии обратной виртуализации. Именно на базе TidalScale компания ITGLOBAL.COM запустила сервис ITG Scale Cloud. Технология, без преувеличения, прорывная и заслуживает подробного обзора.
Новый взгляд на виртуализацию
Программное решение TidalScale было представлено в 2017 году на саммите Open Compute Project, на котором среди прочего обсуждается развитие инфраструктуры дата-центров. На тот момент TidalScale был малоизвестным стартапом, создатели которого — а среди них есть и именитые «ИТ-ветераны», например, главный научный сотрудник SAP Айк Насси (Ike Nassi) — заявили, что достигли самого большого прогресса в области виртуализации серверов со времен, когда на рынке появились технологии VMware.
То, что это не просто громкие слова, подтвердили компании, которые согласились протестировать TidalScale. Сегодня платформу используют Массачусетский технологический институт (MIT), General Electrics, Shinhan Bank, Университет Техаса и другие. В 2017-м компания вошла в список Cool Vendors по версии аналитического агентства Gartner, а в нынешнем — в число 20 наиболее перспективных поставщиков решений для Oracle и SAP по версии издания CIO Review.
В отличие от обычной, «прямой» технологии виртуализации в TidalScale используется обратная HyperKernel-виртуализация. Первая подразумевает разделение аппаратных ресурсов на логические серверы, обратная виртуализация — объединение ресурсов в один мощный сервер, с единым пулом процессорных ядер и единым массивом оперативной памяти. TidalScale создает программно-определяемый сервер на базе 2- и 4-процессорных машин x86 архитектуры; один логический сервер может одновременно использовать до нескольких сотен ядер и до 64 ТБ ОЗУ. Физические серверы объединяются в кластер с помощью Ethernet-коммутаторов 10-100 Гбит/с.
Стандартная схема использования проста: на виртуальном сервере TidalScale запускается гостевая ОС (TidalPod), на которой, в свою очередь, запускается необходимое приложение — например, база данных. Масштабирование ресурсов происходит всего за несколько секунд. Инфраструктура TidalScale может быть развернута как в облаке, так и в локальном ЦОД.
Области применения
TidalScale — решение, которое адаптировано для In-Memory вычислений (IMC), когда данные обрабатываются и хранятся не на жестких дисках, а в оперативной памяти. IMC используются, например, в БД SAP HANA и Oracle Database In-Memory. Обе БД требовательны к ресурсам: у сервера должен быть достаточный объем оперативной памяти, измеряемый в ТБ. Кроме этого, в зависимости от типа платформы, регламентируется соотношение количества процессоров и объема ОЗУ. TidalScale позволяет гибко масштабировать соотношение CPU и RAM под конкретные задачи, используя только тот объем ресурсов, который необходим.
Еще один плюс: TidalScale не зависит от производителя серверов. В качестве аппаратной платформы можно использовать серверное оборудование массового сегмента, что подходит, например, для разработки и тестирования приложений. Ну, а там, где no vendor lock-in, — там и импортозамещение: TidalScale теоретически может работать и на российском оборудовании.
Технология также актуальна для областей, где необходима обработка больших данных в реальном времени: биллинговые системы, прогнозная аналитика, интернет вещей (IoT), машинное обучение и так далее.
Оптимизация затрат
Технологию обратной виртуализации отличает более экономное использование ресурсов процессора. Это значит, что TidalScale позволяет получить большую производительность при меньших количествах физических ядер — по сравнению с прямой виртуализацией. Экономическая выгода этой технологии становится очевидной, например, когда речь заходит о покупке лицензий для Oracle Database: если БД приобретается для неопределенного количества пользователей, «на вырост», лицензируется то количество процессоров (сокетов), которые задействовано для работы ПО Oracle. По заверениям производителя, TidalScale позволяет сэкономить на лицензиях до 61% CAPEX сравнительно с традиционной схемой развертывания серверной инфраструктуры. Если компания крупная, с несколькими тысячами сотрудников, эта сумма может составлять несколько миллионов долларов.
Оптимизация касается также капитальных и эксплуатационных затрат в собственном ЦОД: с TidalScale нет необходимости постоянного вертикального наращивания серверной инфраструктуры. Программно-определяемый сервер к тому же можно использовать как резервный ресурс, на недорогих серверах и СХД. По данным TidalScale, экономия на капитальных затратах доходит до 63%.
В случае с арендой серверных мощностей на базе TidalScale затраты оптимизируются как у поставщика, так и у заказчика. Первый выделяет ресурсы по запросу, второй платит фиксированные ежемесячные платежи только за необходимый объем вычислительной мощности и дискового пространства. Опять же, стоимость — для обеих сторон — можно уменьшить, если использовать оборудование потребительского класса.
TidalScale на вооружении ITGLOBAL.COM
ITGLOBAL.COM, как глобальный поставщик Managed-IT сервисов, не мог обойти вниманием такую технологию как TidalScale — поскольку выгода от ее внедрения одинаково понятна и провайдеру, и заказчику. ITG Scale Cloud предлагает гибкие конфигурации физических ядер и ОЗУ, в зависимости от задач клиента. Масштабирование памяти возможно до 64 ТБ на одной машине.
У сервиса ITG Scale Cloud четыре основных сценария применения:
- SAP HANA: поскольку SAP к 2025 году планирует перевод своих клиентов на in-memory платформу HANA, ITG Scale Cloud актуален для заказчиков, которые собираются мигрировать в нее
- Oracle Database In-Memory: версия БД Oracle, которая ориентирована на вычисления в оперативной памяти; ITG Scale Cloud позволяет использовать максимум возможностей Oracle при существенной экономии на лицензиях
- High-performance computing: высокопроизводительные вычисления для любых отраслей, от 3D-моделирования до сложных расчетов в промышленном производстве
- Business Intelligence: никаких ограничений по обработке «структурированных данных» для задач прогнозной аналитики
Резюме
История появления TidalScale — характерный пример естественной эволюции технологии, когда новое решение появляется в силу реальной необходимости и поэтому востребовано рынком. Айк Насси основал TidalScale, чтобы решить проблему несоответствия растущих потребностей в обработке данных и физических возможностей существующих программно-аппаратных платформ. То, что предлагает TidalScale — это, гипотетически, неограниченное расширение производительности за счет горизонтального масштабирования инфраструктуры. Но насколько все-таки технология революционна, — а не только эволюционна, — покажет время, когда ИТ-рынок даст полноценный фидбек в виде новых проектов и инсталляций.
Предыдущая статья
