Когда воздушное охлаждение больше не работает: гид по жидкостному охлаждению ЦОД

Почему жидкостное охлаждение стало ключевой темой для современных ЦОД

Выбор системы охлаждения сегодня — это уже не вопрос «что поставить в стойку после закупки серверов». Это инженерное решение уровня архитектуры ЦОДа, от которого напрямую зависят стабильность, масштабирование и срок службы оборудования.

В статье разбираем, где воздушное охлаждение перестает работать, какие диапазоны мощности требуют жидкостных решений и как ЦОД выбирают архитектуру охлаждения под реальные нагрузки.

Ниже — не теория, а практические выводы из интеграторских проектов ITGLOBAL.COM.

Рост TDP процессоров и GPU: пределы воздушного охлаждения

Отправная точка — рост плотности чипов и тепловыделения. И в этом разговоре нет ничего нового. В 2025 году все ключевые производители выпускали процессоры и GPU с кратно выросшим тепловыделением. Процессоры быстро превышают 500 Вт, а графические ускорители — 1000 Вт. Таким образом, рост TDP (Thermal Design Power, показатель тепловыделения) — это одна часть уравнения, а другая — их общая устойчивость к высоким температурам.

Почему современные CPU и GPU хуже переносят высокие температуры

Другая часть, о которой мы не всегда говорим, — это снижение TCASE или максимальная температура, допустимая на корпусе компонента. Многие из них, все инновационные и современные суперчипы, которые мы видим на рынке, упакованы в один сокет. Это означает, что они, вероятно, не будут очень термостойкими, и как следствие, в будущем воздушное охлаждение некоторых из этих чипов может не быть доступным вариантом.

Как интегратор и облачный провайдер ITGLOBAL.COM оценивает, какие конфигурации рационально охлаждать воздухом, а где без жидкостного охлаждения уже не обойтись. 

Плотность серверных стоек и ее влияние на выбор системы охлаждения

В течение последних нескольких десятилетий преимущества жидкостного охлаждения всегда раскрывались в задачах получения максимальной производительности. HPC-кластера и суперкомпьютеры в течение длительного времени использовали самые производительные процессоры. Если посмотреть на крупные суперкомпьютеры экзафлопного уровня, такие как El Capitan, Frontier, Aurora, то все они имеют жидкостное охлаждение. Причина — отсутствие жестких ограничений по плотности и тепловому режиму. Мы можем эксплуатировать их с очень высокой плотностью в течение длительного времени. Но другая часть этой истории, которая начинает привлекать все больше внимания и интереса во всем мире, — это эффективность. Если мы сможем значительно снизить энергозатраты внутри дата-центра за счет перехода на жидкостное охлаждение вместо воздушного, это может быть весьма привлекательным. 

Общаясь с ЦОДами по всему миру, мы видим, как правительства стран принимают новые законы и вводят новые требования, диктующие допустимую температуру воздуха в машзалах: все теплее и теплее. В Европе это уже напрямую влияет на проектирование новых дата-центров.

Почему большинство ЦОД используют лишь 25–30% потенциала стоек

Другая часть этой проблемы связана с плотностью. Экономическая логика подталкивает к максимальному заполнению стоек. Так как многие из тех центров обработки данных, которые вы видите сегодня, заполнены на 1/3, а может быть, и на 25 % из-за проблем с возможностями подводимого питания, плотностью и охлаждением. Большая часть пространства в этих центрах обработки данных простаивает. Представим, если мы полностью заполним такие стойки? Мы сможем строить более компактные центры обработки данных. Мы могли бы значительно сократить количество кабелей на коммутацию. Во многом это становится возможным благодаря жидкостному охлаждению. Вот что сегодня стимулирует его развитие.

Какой тип охлаждения подходит для разных мощностей стоек

Перейдем от общих рассуждений к реальным диапазонам мощности стоек. С чем мы имеем дело сейчас? Если взять общую мировую статистику по индустрии, то большинство серверных стоек в ЦОДах потребляют не более 10 кВт или менее.

Исторически мы используем жидкостное охлаждение во второй половине графика, где наблюдаем более высокую плотность размещения, которая растет из года в год. И во многом этот тренд способствует постоянной потребности в жидкостном охлаждении для рабочих нагрузок AI Enterprise и HPC. Итак, одна из целей статьи — показать, где жидкостное охлаждение действительно оправдано, а где его применение не имеет смысла.

До 10 кВт: когда жидкостное охлаждение не имеет смысла

Типовое оборудование в диапазоне от 1 до 9 кВт, серии ITPOD General Computing и Network Appliance

Первый случай, на наш взгляд, легче всего объяснить. При мощности стойки менее 10 кВт нет необходимости в жидкостном охлаждении. Это также самый распространенный вариант размещения текущих и прошлых лет. И вот почему — небольшая математика, чтобы дать простое объяснение.

В стойке установлено несколько серверов ITPOD-SL201-D24R-NV-G4. Мы просто охлаждаем воздухом. И этого вполне достаточно, чтобы получить большую гибкость размещения серверов. На месте стандартных рэковых серверов ITPOD могут быть любые другие, такие как Dell PowerEdge R760 или Lenovo ThinkSystem SR650v3.

10–20 кВт: закрытые контуры и усиленное воздушное охлаждение

Теперь, когда мы поднимаемся выше по графику, мы говорим о применении инноваций в серверном мире, про современные решения 2024-2025 годов. Итак, это диапазон охлаждения от 10 до 20 киловатт. 

Здесь мы встречаемся возможно с одним сервером HGX (8U) в стойке. Например, Dell XE9680 с восемью чипами H200 в форм факторе SXM и двумя NVLink Switch.

Или несколько, возможно, половина стойки серверов ITPOD-SY4108G-D12R-G4, каждый с восемью PCIe картами NVIDIA RTX PRO 5000 Blackwell.

Типовое оборудование в диапазоне от 10 до 19 кВт, Dell PowerEdge XE9680 с воздушным охлаждением

В этом пространстве мы редко начинаем использовать системы жидкостного охлаждения с замкнутым контуром. Но нам уже действительно нужно немного повысить тепловую производительность сервера. Для этого берутся массивные радиаторы большего размера и более крупные шасси вплоть до 8-10 юнитов

20–40 кВт: RDHX и переход к liquid-to-air

Но когда мы действительно начинаем говорить о жидкостном охлаждении, то речь идет о диапазоне от 20 до 40 киловатт. Здесь нам нужна большая гибкость, но мы также начинаем сталкиваться с множеством тепловых проблем в центре обработки данных. 

Итак, это почти полная стойка серверов или несколько устройств искусственного интеллекта или высокопроизводительных вычислительных систем в стойке. 

При такой плотности воздушное охлаждение становится недостаточным и требует большего воздушного потока и более низкой температуры воздуха в помещении. Поэтому мы начинаем говорить о Liquid-to-Air технологиях. 

И начнем с установки RDHX (Rear Door Heat Exchanger) к имеющимся стойкам для постепенного перехода от воздушного к жидкостному охлаждению, используя воду для управления плотностью размещения и тепловыделением.

Схема распределения энергии RDHX (Rear Door Heat Exchanger)

Если вы знакомы с периметральным охлаждением в дата-центрах или  рядными кондиционерами, то знаете, что вода из системы охлаждения поступает в змеевик и создает холодный воздух. С RDHX (Rear Door Heat Exchanger) мы берём эту воду и направляем её непосредственно в теплообменник на задней двери стойки.

RDHX устанавливается в непосредственной близости к ИТ-оборудованию, поэтому такое охлаждение гораздо более энергоэффективно и теплоэффективно, чем периметральное охлаждение. Мы приближаем охлаждение к источнику тепла, минимизируя потери в системе.

Большим преимуществом RDHX является то, что он также обеспечивает огромную гибкость. В стойки с RDHX можно устанавливать вычислительные устройства, ИИ сервера, сетевое оборудование и даже СХД. Благодаря конструкции теплообменника задней двери мы можем охлаждать практически всё, что находится внутри этих стоек, независимо от конфигурации оборудования.

Также в случае небольших потребностей и инсталляций, если вы готовы к заметным изменениям своей инфраструктуры, то продолжением Liquid-to-Air технологий является применение небольших Liquid-to-Air CDU, устанавливаемых непосредственно в стойку для жидкостного охлаждения (DLC, Direct Liquid Cooling). Например, решения от китайских VENTTECH и Soeteck Power. Воздушно-жидкостный теплообменник напрямую использует воздух для охлаждения циркулирующей среды. Применяется высокоэффективный теплообменник с медными трубками, алюминиевыми ребрами и вентилятор.

40 кВт и выше: прямая жидкостная схема (DLC)

Теперь поговорим о некоторых более крупных приложениях — суперкомпьютерах. NVIDIA SuperPOD — текущее лидирующее решение для построения AI-кластеров, позволяющее организациям начать с нескольких DGX серверов и эффективно масштабироваться до 16 384 графических процессоров.

Когда мы начинаем двигаться в диапазоне от 40 до 70 кВт, установив восемь XE9640 в стойку, то только жидкостное охлаждение единственное что действительно подходит.

Подобные сервера и, в целом, когда мы говорим о прямом жидкостном охлаждении, включают в себя холодные пластины (cold plates). Алюминиевые радиаторы для воздушного охлаждения обычного сервера заменяются медными пластинами. Таким образом, мы берем жидкость и закачиваем ее прямо в серверы. Она улавливает все тепло и закачивает его обратно в CDU. В данном случае на картинке — это 4U CDU, установленная в нижней части стойки. Он отводит тепло далее и можно представить, что каждая из таких стоек подключена напрямую к водяному контуру ЦОД.

CDU в системах жидкостного охлаждения: типы и различия

CDU (Coolant Distribution Unit) — это блок распределения хладагента, который связывает инженерную инфраструктуру ЦОД с системой жидкостного охлаждения ИТ-оборудования.

Через CDU тепло от серверов передается в контур объекта, а параметры потока, давления и температуры приводятся к требованиям конкретной нагрузки.

В системах CDU охлаждения применяются два базовых архитектурных подхода: централизованные CDU и CDU, устанавливаемые непосредственно в стойки.

Централизованные CDU для нескольких стоек

Централизованная CDU — это отдельностоящий блок с высокопроизводительными насосами и теплообменниками, который обслуживает сразу группу стоек.

Централизованные CDU часто применяются в крупных HPC-кластерах или в новых ЦОД, изначально спроектированных под высокую плотность.

In-rack CDU: автономные стойки высокой плотности

In-rack CDU — это компактный блок распределения хладагента, обычно формата 4U, устанавливаемый непосредственно в серверную стойку.

Преимущества

• Каждая стойка — полностью автономная система охлаждения.
• Параметры потока и температуры можно настраивать под конкретное оборудование.
• Отказ одной CDU не влияет на соседние стойки.
• Стойки можно заранее собрать, заправить теплоносителем, протестировать и доставить в ЦОД в готовом виде.

Ограничения

• Одна CDU обслуживает только одну стойку.
• Выше суммарная стоимость при масштабировании большого количества стоек.

In-rack CDU хорошо подходят для AI-кластеров, mixed-нагрузок и сценариев, где важна гибкость и поэтапное наращивание инфраструктуры.

Двухконтурные системы жидкостного охлаждения в ЦОД

Практически все современные системы жидкостного охлаждения в ЦОД строятся по двухконтурной схеме. Такое двухконтурное охлаждение ЦОД позволяет разделить зону ответственности между оператором дата-центра и ИТ-инфраструктурой.

Primary Loop и Secondary Loop: как устроена схема

Primary Loop (Facility Water) — первичный контур объекта. Он находится под управлением ЦОД и включает:

• резервуары,
• насосные группы,
• магистрали большого диаметра,
• источники холода: чиллеры, dry cooler или градирни.

В этом контуре используется вода высокой степени очистки, часто с ингибиторами коррозии и биологического роста. Именно этот контур подводится к CDU.

Secondary Loop — вторичный контур системы жидкостного охлаждения ИТ-оборудования. Он начинается после теплообменника CDU и подает теплоноситель непосредственно к серверным стойкам и холодным пластинам.

Во вторичном контуре применяются:

• смесь воды и пропиленгликоля (PGW),
• либо этиленгликоль (EG) в концентрации обычно от 25 до 40%.

Такой теплоноситель устойчив к коррозии, биологическому росту и замерзанию, что особенно важно при поставке предварительно собранных стоек.

CDU в этой схеме выступает границей ответственности и теплообменником «жидкость–жидкость».

Стойки на 100 кВт и выше: сценарии полного жидкостного охлаждения

Появление стоек мощностью 100 кВт и выше связано не только с HPC, но и с быстрым ростом AI-нагрузок. Современные HGX-платформы с 8 GPU NVIDIA H200 или B200 в одной системе формируют тепловой профиль, который невозможно обслуживать воздушным охлаждением.

Для таких конфигураций применяются два основных сценария.

Комбинация DLC и RDHX

Первый сценарий — сочетание Direct Liquid Cooling (DLC) и теплообменников задней двери (RDHX).

Типовая схема для 100 кВт стойки:

• около 70 кВт тепла отводится напрямую через холодные пластины CPU и GPU;
• оставшиеся 30 кВт улавливаются RDHX;
• все тепло в итоге передается в facility water.

Для ЦОД такая стойка становится «room-neutral»: она не нагружает систему кондиционирования и не требует локального холодного коридора.

Полностью безвентиляторные HPC-системы

Второй сценарий — 100% жидкостное охлаждение на уровне cold plates без вентиляторов. Такой подход применяется в суперкомпьютерах и системах класса HPE Cray EX.

Особенности:

• все основные компоненты охлаждаются жидкостью;
• отсутствует воздушный поток внутри стойки;
• минимальный уровень шума даже при мегаваттных нагрузках;
• высокая тепловая эффективность и стабильность.

Это эталонный вариант HPC жидкостного охлаждения для крупных AI-кластеров и научных вычислений.

Как внедрять жидкостное охлаждение в реальных проектах

Несмотря на зрелость технологий, сценарии внедрения жидкостного охлаждения на практике сильно различаются. Выбор зависит от состояния существующего ЦОД, планов по росту мощности и типа нагрузки.

Почему модернизация существующих ЦОД применяется редко

Полная модернизация действующего дата-центра под жидкостное охлаждение встречается нечасто.

Основные причины:

• действующие воздушные нагрузки продолжают эффективно работать;
• перепроектирование инженерных систем дорого и рискованно;
• требуется остановка или миграция сервисов.

Чаще всего жидкостное охлаждение внедряется точечно — под отдельные высокоплотные зоны или новые залы.

Модульные дата-центры как оптимальный путь внедрения

Наиболее практичный сценарий — строительство или поставка модульных ЦОД, изначально оптимизированных под жидкостное охлаждение.

В таком подходе:

• инженерная и серверная инфраструктура проектируются как единое целое;
• стойки поставляются в собранном и протестированном виде;
• заказчик получает жидкостное охлаждение под ключ с прогнозируемыми сроками и характеристиками.

Именно этот путь сегодня чаще всего выбирают для развертывания AI-кластеров, HPC-систем и инфраструктуры сверхвысокой плотности.

Экспертиза ITGLOBAL.COM в проектах жидкостного охлаждения

ITGLOBAL.COM работает с высокоплотной вычислительной инфраструктурой много лет — от классических HPC-кластеров до современных AI-систем. В этих проектах жидкостное охлаждение не рассматривается как эксперимент или экзотика. Это штатный инженерный инструмент, который применяется там, где он действительно оправдан.

Компания выстраивает решения, исходя не из типа технологии, а из параметров нагрузки:

• теплового профиля серверов;
• целевой плотности стоек;
• требований к отказоустойчивости;
• возможностей инженерной инфраструктуры площадки.

В портфеле ITGLOBAL.COM используются разные архитектуры жидкостного охлаждения — от liquid-to-air решений с RDHX до полного Direct Liquid Cooling с in-rack и централизованными CDU. Такой подход позволяет собирать однородные HPC-кластеры, AI-инфраструктуру и смешанные среды без компромиссов по надежности и масштабируемости.

Отдельное внимание уделяется практической стороне внедрения:

• стойки и подсистемы охлаждения собираются и тестируются заранее;
• параметры потоков и температур настраиваются под конкретное оборудование;
• применяются стандартизированные соединения и совместимые компоненты от разных производителей.

Это позволяет поставлять готовые решения — от отдельных стоек высокой плотности до модульных дата-центров, оптимизированных под жидкостное охлаждение. В таких проектах заказчик получает предсказуемые характеристики по мощности, энергоэффективности и дальнейшему росту инфраструктуры.

Опыт эксплуатации, а не только проектирования, позволяет ITGLOBAL.COM точно понимать, где жидкостное охлаждение действительно дает эффект, а где воздушные системы остаются рациональным выбором. Именно этот инженерный подход лежит в основе всех решений компании — от корпоративных платформ до суперкомпьютерных комплексов и AI-кластеров.