Использование СХД NetApp EF-Series All-Flash для ускорения процессов сервис-провайдера аналитики

Компания RP Data — один из крупнейших и достаточно известных поставщиков данных в области недвижимости в Австралии и Новой Зеландии. Выполняя оценку объектов и предоставляя соответствующую аналитику, компания в том числе предлагает услуги по управлению рисками. Принадлежащая аналитической компании CoreLogic, RP Data ежедневно обрабатывает огромные объёмы информации. Данные о недвижимости, включающие в себя изображения, финансовые и иные сведения, являются основой бизнеса компании. Успех RP Data заключается в оперативном и своевременном предоставлении информации о недвижимости в условиях постоянно меняющихся данных, на основе которых строятся отчёты, необходимые клиентам.

RP Data в непрерывном режиме выполняет сбор и обработку огромного количества информации о недвижимости, используя при этом многочисленные источники. Постоянно меняющиеся данные, превращаясь в исходящую информацию и аналитику, помогают клиентам принимать правильные решения.

Рынок австралийской недвижимости за последние годы достаточно окреп, в результате чего RP Data ощутила значительное увеличение объёма потока данных, нуждающихся в обработке. И чтобы идти в ногу со временем, команде ИТ-специалистов потребовалось пересмотреть ИТ-инфраструктуру.

Поставлены новые цели

Помимо ежегодно поступающих данных объёмом более 100 Тб, RP Data хранит и текущую информацию, которая в среднем составляет около пяти изображений по каждому объекту недвижимости, расположенному на территории Австралии и Новой Зеландии. При этом наибольшую нагрузку испытывает база данных недвижимости, реализуемая средствами Microsoft SQL Server 2012. Такая БД содержит более 500 миллионов отзывов, охватывающих порядка 9 миллионов объектов недвижимости. И чем быстрее происходит передача/обработка данных, тем быстрее конечные пользователи получают актуальную информацию. По мере роста базы данных RP Data столкнулась с проблемой производительности хранилищ.

«Мы должны быть уверены в том, что с момента получения данных и доставки их клиентам проходит совсем немного времени, — отмечает Саймон Перри, генеральный менеджер по технологиям RP Data. — Наличие высокоскоростных и доступных хранилищ является достаточно критичным моментом для достижения поставленных целей». Чтобы решить проблемы, связанные с производительностью, и улучшить качество обслуживания, RP Data планирует внедрить технологии, которые позволят:

• Сократить время передачи и обработки информации в БД.
• Предоставлять клиентам отчёты максимально быстро и часто.
• Обеспечить высокую доступность и надёжность на уровне хранилищ.
• Установить партнерские отношения с доверенными поставщиками, которые помогли бы реализовать архитектурно-интегрированное решение.

Ускорение процесса составления отчётов

Изначально RP Data рассматривала традиционный подход к хранилищам с использованием составных дисков для решения задач, связанных с операциями ввода-вывода. И несмотря на наличие двух дата-центров в Брисбене, работающих в режиме active-active, требовалось решение, способное справиться с задачами масштабирования. В итоге был сделан выбор в пользу NetApp. «Желание NetApp понять нас и наш бизнес достаточно сильно отличалось от подхода других технологических компаний. Таким образом, мы доверились советам NetApp, — отмечает Адриан Янс, глава по информационным и коммуникационным технологиям в RP Data. — Вместо того, чтобы продать нам традиционные диск-ориентированные решения, способные удовлетворять наши потребности, NetApp, детально изучив бизнес-требования RP Data, предложила вариант на основе массивов СХД All-Flash, которые смогут обеспечить желаемую производительность и ощутить преимущества масштабируемости при операциях ввода-вывода в условиях чрезмерных нагрузок». Было принято решение хранить данные, получаемые от финансовых организаций, на твердотельных накопителях SSD с применением флеш-массива NetApp EF-Series, подключаясь к серверам через Fibre Channel.

Ускорение обработки данных

СХД NetApp на базе флеш-технологий сыграли важную роль в жизни RP Data, ведь это позволило добиться поставленной бизнес-цели по ускорению процесса обработки данных. «Мы были уверены, что массивы NetApp EF-Series — лучший выбор для нашего бизнеса. Это зрелое решение на уровне предприятия, которое позволяет не жертвовать надежностью ради скорости», — комментирует Янс.

Рисунок 1. Конфигурация флеш-массива NetApp EF-Series для Microsoft SQL Server 2012

Улучшение показателей производительности

Всем известно, что операции с базами-данных значительно влияют на производительность. Используя массивы NetApp EF-Series, RP Data смогла добиться существенного увеличения производительности. «С помощью массива NetApp EF-Services all-flash мы предоставляем то, что всегда запрашивает команда: больше IOPS и более высокую скорость обработки данных. Теперь появилась возможность запускать ETL-процессы в течение всего дня. До того как сделать одну большую сборку и соединить более мелкие пакеты, у нас уходило достаточное количество времени и были определённые сложности. Но теперь мы можем предоставлять клиентам обновлённые данные по нескольку раз в день вместо стандартных еженедельных выгрузок», — отмечает Янс.

Упрощение управления хранилищами

Инженеры RP Data используют программный менеджер NetApp SANtricity® Storage, позволяющий управлять массивами EF-Series. Оптимизированный для флеш, SANtricity помогает администраторам хранилищ получить максимум производительности, осуществляя управление даже в тот момент, когда хранилище находится в режиме онлайн, сохраняя полный доступ к данным в режиме чтения-записи. Все это позволяет выполнять конфигурационные изменения и проводить техническое обслуживание без прерывания операций ввода-вывода.

Реализация высокой доступности

Одним из наиболее критичных аспектов корпоративного решения является способность выявлять и устранять возникшие проблемы. Массив NetApp EF-Series all-flash предлагает возможность сбора и мониторинга диагностируемых данных для обеспечения возможности исключения неисправностей и упрощения анализа. При этом износ SSD детально отслеживается, а по достижении установленных пороговых значений происходит оповещение. Для того чтобы обеспечить возможность восстановления в случае проблем с окружением или выходом компонентов из строя, массив включает в себя избыточные пути ввода-вывода с автоматической отработкой отказов.

Поддержка бизнес-приложений

Кроме озвученного выше, RP Data использует системы хранения NetApp FAS3240, подключённые к свитчам Cisco с использованием протоколов SAN, таких как Fibre Channel и iSCSI. Около 70 % серверной среды компании виртуализировано средствами VMware vSphere, а сами бизнес-приложения базируются на ОС Linux и Windows. С помощью NetApp SnapMirror с целью аварийного восстановления происходит репликация изменённых блоков данных между двумя дата-центрами. А решение NetApp AutoSupport, представляющее собой инструмент удалённой диагностики с поддержкой веб-интерфейса, выполняет проверку состояния здоровья системы. «Мультипротокольная гибкость, реализованная в NetApp, даёт свои преимущества. Всё это позволяет значительно снизить стоимость и минимизировать имеющиеся сложности», — говорит Янс.

Преимущества для ИТ и влияние на бизнес

Преимуществом базы данных недвижимости на массивах all-flash является то, что RP Data с гораздо большей периодичностью может предоставлять максимум информации различным организациям, включая банки и оценочные компании. Собранные, к примеру, в минувшие выходные данные о недвижимости могут быть быстро обработаны и доставлены клиентам к утру понедельника. При этом доставка отчётов также выполняется в срок. Всё это гарантирует клиентам работу исключительно с актуальной информацией. «С массивом NetApp EF-Series all-flash мы можем позволить себе различные нагрузки, даже те, которые ранее были недопустимы, что позволяет предоставлять информацию заказчикам в реальный момент времени, — отмечает Янс. — Возможность в разы быстрее выполнять имущественную оценку или оценивать одновременно несколько различных объектов помогает клиентам получить наилучшие результаты». Используя NetApp EF-Series all-flash, RP Data отмечает определённые преимущества:

• Во-первых, сократилось время передачи данных в БД более чем на 70 % (на эту процедуру уходит 50 минут против затрачиваемых ранее 3 часами).
• Во-вторых, снизилось время обработки отчётов примерно на 70 % (3,5 часа против 12,5 часа ранее).
• В-третьих, доступность систем хранения приблизилась к уровню 99,9999 %.

Что ещё…[Что ещё]

RP Data находится на пути модернизации своих NetApp-систем, планируя использовать контроллеры FAS8040 с кластерной ОС Data ONTAP, что позволит перемещать данные между контроллерами хранения без прерывания даже в рабочие часы. Для ускорения операций чтения-записи, которые не используют флеш в чистом виде, RP Data планирует добавить SSD-полки к контроллерам FAS8040. А также впоследствии использовать интеллектуальное кэширование NetApp Flash Pool для автоматического ранжирования данных с более высокой скоростью при меньших затратах.

Перечень используемых в проекте решений: