Король умер! Да здравствует король! Ищем альтернативы Splunk

Полгода назад американская компания Splunk без предупреждения прекратила работу в России. За это время заказчики Splunk, среди которых были Роснефть, Лаборатория Касперского и крупные банки, были вынуждены найти альтернативу.

Однако подыскать замену популярной платформе сбора и анализа данных Splunk Enterprise оказалось крайне сложной задачей. Давайте посмотрим, какие варианты были реально доступны на рынке.

Несмотря на наличие специального ПО для обработки системных журналов и автоматически создаваемых отчётов приложений, большинство существующих на рынке решений существенно уступают системе Splunk. Одни представляют собой опенсорсные проекты в стадии вечной бета-версии, а другие решают только часть необходимых задач, не обеспечивая крупному бизнесу необходимой интеграции.

За 15 лет своего существования Splunk создала универсальную и хорошо продуманную систему обработки больших данных для самых разных отраслей. Её использовали в бизнес-аналитике, промышленной оптимизации, анализе инцидентов информационной безопасности, интеграции данных IoT-устройств и при поиске неполадок в ИТ-инфраструктуре. Полных аналогов для неё не существует, но есть другие платформы корпоративного уровня, на которые стоит обратить внимание.

1. Sematext Logs

Универсальное решение для мониторинга всей ИТ-инфраструктуры в режиме реального времени. Предоставляет наглядную статистику действий сотрудников и клиентов, визуализирует метрики производительности приложений, анализирует журналы событий – и всё это в единой оболочке.

Его выбрала компания Amazon для контроля своих облачных сервисов (AWS), что является лучшей рекомендацией. По сути это SaaS-вариант ELK. В нём есть API для Elasticsearch (полнотекстового поиска на основе Apache Lucene), поддерживается интеграция с Logstash, Filebeat, rsyslog, Logagent и другими сборщиками логов. Также в Sematext Logs интегрирована Kibana (приложение визуализации данных из логов). Плюс, добавлено множество модулей совместимости и обеспечена широкая языковая поддержка: Java, JavaScript, PHP, Perl, Python, GoLang .Net и Ruby.

Это платформа, которую легко интегрировать с уже внедрёнными решениями. Sematext Logs имеет модули интеграции с системами реагирования на инциденты PagerDuty, OpsGenie и VictorOps. Кстати, последнюю разработала VictorOps Inc, для которой Splunk является головной организацией. Дополнительно поддерживается платформа управления BigPanda, корпоративные мессенджеры Slack и HipChat, менеджер уведомлений о событиях Webhooks и система управления триггерами Zapier.

Отправка логов из приложений тоже доступна через все популярные логеры: Log4j, Logback, Log4j 2, Log4net, Winston и Python SyslogHandler. Доступ к журналам Sematext настраивается на основе пользовательских ролей. Словом, это серьёзная разработка корпоративного уровня, в которой всё сделано с акцентом на максимальную совместимость и безопасность.

Новым пользователям сервис Sematext Logs доступен бесплатно в течение 30 дней. В дальнейшем вы просто остаётесь на базовом функционале или покупаете подходящий тарифный план. Важная особенность: у Sematext Logs есть возможность реализации on-premise, чтобы критические данные не утекали в облака.

2. Nagios Log Server

Опенсорсная платформа анализа журналов и средство централизованного мониторинга компьютерных сетей (кстати, у Sematext Logs есть модуль интеграции и для него). Обеспечивает базовую функциональность контроля за критическими ошибками и другими событиями, требующими внимания системного администратора. Используется как для мониторинга в режиме реального времени (в нём настраиваются оповещения, включая сложные сценарии), так и во время аудита для быстрой фильтрации записей системных журналов.

Платформа поддерживает многопользовательские конфигурации с разделением прав доступа. Он интегрируется со сторонними решениями через открытый API и очень легко масштабируется: дополнительные экземпляры Nagios Log Server просто добавляются в кластер мониторинга.

Начать работу с Nagios Log Server довольно просто: всё настраивается через веб-интерфейс и индивидуальные панели инструментов. Данное решение подойдёт для отслеживания угроз безопасности и быстрого устранения уязвимостей с помощью встроенных систем оповещения.

Единственный недостаток: высокая цена. Придётся одномоментно заплатить от $3995 за одну лицензию. Однако Nagios Log Server интегрирован также в бесплатный Nagios Core (free) для Windows и Linux. Ограничение базовой версии в том, что поток данных лимитирован объёмом 500 Мб в день.

3. DataDog

Популярный облачный мониторинг, предоставляемый по модели SaaS. Его стоит попробовать, если вы доверяете данные облакам, а ваша основная задача – обработка логов без выявления инцидентов информационной безопасности. Вопрос доверия здесь отнюдь не философский: в отчётах могут содержаться логины пользователей, хеши паролей, параметры конфигурации сетевого оборудования и прочие конфиденциальные сведения.

DataDog – всеядный анализатор, содержащий более 350 встроенных агентов интеграции. Помимо них, есть ещё два способа соединить его с другими компонентами вашей инфраструктуры: через сборщик данных с настраиваемой аутентификацией (crawler) и через библиотеки, использующие Datadog API. Подробнее см. здесь.

Если вы столкнулись с ограничениями REST API интерфейсов, то попробуйте язык запросов GraphQL, который был разработан в Facebook. DataDog может использовать его для мониторинга производительности инфраструктуры через движок Apollo.

Платформа агрегирует различные события и метрики из автоматически создаваемых отчётов ОС, приложений и баз данных для создания общего представления о работе ИТ-инфраструктуры. С ним проще координировать усилия администраторов и девелоперов, отслеживать взаимодействие пользовательских групп и распределение ресурсов.

Уникальная черта DataDog – кастомизируемые панели мониторинга. Они позволяют настроить очень сложные взаимодействия и наглядно отобразить их в режиме реального времени. Поэтому DataDog идеально подходит для оперативного выявления «бутылочного горлышка» – проблемного компонента, который снижает общую производительность.

Бесплатный тестовый период составляет 14 дней, но их едва хватает на то, чтобы разобраться с базовыми функциями. Вникать в детали придётся на каждом этапе развёртывания, а правка конфигов станет практически непрерывным процессом в первые пару месяцев. Это мощное средство для терпеливых админов, готовых потратить много времени на тонкую настройку.

4. MaxPatrol SIEM

Отечественная система мониторинга событий и выявления инцидентов информационной безопасности, работающая в реальном времени. Основная цель – оперативное выявление угроз, включая сложные (APT) и не детектируемые обычными средствами. Главные отличия: русскоязычный интерфейс, подробная документация и техподдержка на русском; сертификация ФСТЭК и Минобороны РФ.Панель управления делится на пять вкладок: «активы», «события», «инциденты», «сбор данных» и «система». Общие сводки отображаются на главном экране. MaxPatrol SIEM автоматически строит и актуализирует топологию сети, упрощая расследование инцидентов.

Паттерны новых типов атак и угроз добавляются в базу Positive Technologies Knowledge Base, из которой MaxPatrol SIEM автоматически обновляет их описания. Также он имеет встроенный конструктор для создания собственных правил корреляции событий.

Модуль PT Security Intelligence Portal помогает руководству оценить общую эффективность мер информационной безопасности, снижая общие трудозатраты. Например, в нём автоматически группируются все программные компоненты по типу известных уязвимостей – так вы сможете одномоментно обновить их все и не оставите устаревшую версию на забытом компьютере.

В MaxPatrol SIEM постоянно добавляются новые источники событий, включая популярные опенсорсные утилиты и специфические для российского рынка продукты. Их добавление происходит бесплатно, поскольку поток анализируемых событий никак не лимитируется.

Плюсы: полное соответствие требованиям ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации», Положениям Банка России от 9 июня 2012 г. № 382-П «О требованиях к обеспечению защиты информации…», ФЗ «О персональных данных» от 27.07.2006 N 152-ФЗ и другим российским законам.

Минусы: решение вряд ли подходит интровертам и тем организациям, которые хотят оставаться вне поля зрения Ока Саурона.

5. FortiSIEM

Сравнительно новая платформа анализа событий и управления инцидентами для обеспечения безопасности. Может быть развёрнута в облаке, виртуальной машине AWS, или на собственном сервере вашей компании.

Есть три модификации FortiSIEM on-premise: 500F , 2000F и 3500F. Они отличаются скоростью обработки событий (от 5000 до 30000 в секунду) и требованиям к объёму хранилища (от 3 до 72 Тб).

Любая версия FortiSIEM выполняет автоматический поиск корреляций между событиями, применяя для этого машинное обучение и технологию UEBA (анализатор поведения пользователя и цифровой сущности, в роли которой может выступать отдельное приложение или целый узел локальной сети).

Автоматическую реакцию на срабатывание триггеров обеспечивает библиотека SOAR (Security Orchestration and Automated Response). С апреля 2018 года платформа содержит модуль NOC-SOC, предназначенный для автоматизации рутинных процессов и написания сценариев реагирования на угрозы. Он состоит из сетевого операционного центра (NOC) и центра выполнения операций безопасности (SOC). Это своеобразный мост между общим управлением ИТ-инфраструктурой и мониторингом систем безопасности, функционально подобный системе агрегации разрозненных данных от Splunk.

Выводы.

Хотя в Splunk и отрицают санкционную природу своего поступка, западные компании все чаще уходят с российского рынка. Пока отечественным компаниям ещё доступен ряд зарубежных SaaS-продуктов со схожим функционалом, но ситуация с прекращением их поддержки может прекратиться в любой момент. Наиболее надёжный в стратегическом плане вариант – стимулировать разработку российских платформ сбора и анализа логов.