Температура в серверном шкафу

Обновлено: 18.05.2024

Слишком высокая температура в серверной – это всегда риски для дата-центра. Он может потерять данные, клиентские сервисы какое-то время будут недоступны, один или несколько серверов преждевременно выйдут из строя и придется искать им замену. А это снова простои, потерянное время и деньги. Но какая температура в машинном зале будет считаться приемлемой, а какая – оптимальной для работы оборудования?

Что нужно знать о температуре в серверных комнатах

В машинном зале непрерывно циркулируют теплые и холодные потоки. Охлажденный воздух генерируют кондиционеры и другие устройства в системе охлаждения, горячий – выталкивают серверные вентиляторы. Когда сохраняется оптимальный баланс между потоками разной температуры, оборудование в дата-центре стабильно работает. Если становится слишком жарко, возникают риски отказа, техника преждевременно выходит из строя, теряются критично важные данные и останавливаются сервисы.

Движение горячих и холодных воздушных потоков в машинном зале дата-центра

Рассмотрим, что влияет на температуру в машинном зале центра обработки данных.

Физические параметры помещения: площадь зала и материалы, из которых изготовлены стены, потолок, перекрытия. Чем выше теплоизоляционные характеристики материалов и чем меньше площадь помещения, тем выше температура.
Расположение стен в серверной: они выходят на улицу (южная/северная сторона) или примыкают к соседнему помещению. В первом случае при естественном нагреве здания в солнечный день температура в серверной может повышаться на 1–2 °C.
Плотность размещения IT-оборудования и объем электроэнергии, который оно суммарно потребляет. Чем ближе серверные стойки расположены друг к другу и чем больше вычислительная плотность, тем выше шансы на перегрев.
Срок эксплуатации сетевого и другого оборудования: устаревшие модели техники часто работают неэффективно, не соответствуют современным требованиям и чаще перегреваются.
Насколько производительность системы кондиционирования отвечает реальным потребностям серверной. В каком режиме кондиционеры работают в ночное время и в периоды минимальной нагрузки на вычислительное оборудование.

На онлайн-портале статистики Statista можно найти данные о том, что в 2019 году 25 % дата-центров теряли от 300 до 400 тысяч долларов США всего за один час простоя серверов. Одной из частых причин остановки было как раз критичное повышение температуры.

Что не так с граничными значениями температурных диапазонов

Последние рекомендации ASHRAE расширили диапазон на целых 7 °C, но это не означает, что температура на граничных отметках перестала быть поводом для беспокойства. С одной стороны, владельцы ЦОД могут тратить меньше средств на охлаждение серверных помещений. С другой – на граничных отметках температуры им придется оперативно предпринимать какие-то меры, чтобы не допустить ее критичного повышения, особенно когда температура растет слишком быстро. В таком случае у дата-центра остается мало времени на то, чтобы отреагировать на инцидент и не допустить остановки своих или клиентских сервисов.

Так разница температуры в разны частях ЦОД выглядит на тепловой карте

Получается, что новые рекомендации ASHRAE ослабляют требования к температурному режиму в серверных и при этом неявно указывают на то, что дата-центру следует не только контролировать температуру, но и использовать средства мониторинга, которые помогут быстро снизить ее в критической ситуации.

Обычно это делают с помощью многочисленных цифровых датчиков, которые отправляют оповещения сразу же, как только температура достигнет предела по верхней (чаще) или нижней (в разы реже) границе. Размещать такие датчики необходимо на расстоянии не менее 7,5 метров друг от друга или еще ближе, если в ЦОД есть стойки с блейд-серверами, которые генерируют больше тепла, чем классические.

Аналогичные датчики используют для замеров влажности в машинном зале. Оптимально, если она будет составлять около 50 % с отклонением до 10 % в большую или меньшую сторону. В рекомендациях ASHRAE указывается диапазон от 20 % до 80 % включительно.

Как еще взаимосвязана работа оборудования ЦОД и температура

У любого оборудования есть оптимальный температурный диапазон. Это заявленная производителем температура окружающей среды, при которой техника не просто функционирует, а бесперебойно работает в течение всего гарантийного срока. Однако работа при максимально возможной температуре не означает, что системы и механизмы будут функционировать так же долго, как при более низких ее значениях.

Контролировать температуру, влажность и другие параметры, критичные для работы-оборудования, помогают специальные системы мониторинга

Повышение температуры в серверных влияет не только на вычислительное оборудование, но и на системы бесперебойного питания.

ИБП сильно зависимы от температуры окружающей среды. Обычно допустимая температура эксплуатации ИБП – от 0 до +40 °C, но нужно учесть то, что оптимальная температура эксплуатации аккумуляторных батарей – от +15 до +25 °C. При температурах выше +25 °C срок службы аккумуляторных батарей сокращается. При повышении до 40 °C прогнозируемый срок службы аккумуляторных батарей сокращается на два–три года, а при 50 °C они выйдут из строя в ближайшие несколько месяцев.

Если в помещении какое-то время держится температура от 30 °C и выше, способность к удержанию заряда снижается на 20 %, а когда температура достигает 45 °C – на 50 %. Эти цифры могут незначительно отличаться у разных производителей АКБ и ИБП, но тенденция к уменьшению срока службы и потеря заряда сохраняется абсолютно у всех.

Слабый компонент вычислительного оборудования – накопители. Если современные микропроцессоры и пассивные компоненты (сегодня это чаще всего твердотельные конденсаторы) безболезненно переносят температуру до 45 °C, с традиционными HDD иная ситуация. Чем больше лет накопителю, тем выше риски того, что температура за пределами рекомендованного диапазона быстрее выведет его из строя.

Чуть лучше обстоят дела с твердотельными накопителями, но и у них есть «узкое место». Ячейки MLC под воздействием высоких температур теряют способность сохранять заряд в оксиде кремния, из-за чего срок эксплуатации SSD тоже сокращается.

Охлаждение серверной. Куда потратить деньги с пользой

Итак, о чем будет этот публикация.

В первую очередь это будет небольшой экскурс в теорию холодоснабжения серверных. Во вторую очередь я попытаюсь разобраться с основными заблуждениями при планировании холодоснабжения. И в третью – разбор, куда же все-таки стоит вложить денег, а от чего можно отказаться.

На сегодня в холодоснабжении ЦОД существуют две глобальные стратегии:

1. Свободное охлаждение. Это когда сервера охлаждаются напрямую внешним воздухом с минимальной его подготовкой (обычно это базовая фильтрация и подогрев в зимний период).
2. Контролируемое холодоснабжение, назовем его так. Это когда вы готовите воздух по показателям загрязнения, влажности, температуры и подаете его в сервера. Сюда же входят различные методы косвенного фрикулинга (используется внешний воздух для охлаждения теплообменника в котором находится воздух из ЦОД).

Преимущества первой стратегии очевидны. Это низкая стоимость внедрения, низкая стоимость обслуживания, смешные счета за электроэнергию. Недостатки тоже понятны. Неконтролируемая влажность и запыленность воздуха, что неминуемо приводит к выходу из строя компонентов серверов. У такого подхода есть свои приверженцы. Обычно это очень крупные технологические компании. Почему это хорошо для них и плохо для остальных? Есть 3 причины:

1. Сеть полностью резервируемых площадок. Если произойдет сбой на одной, подхватит вторая.
2. Необходимость быть на пике технологий. Сервер, работающий с плохим воздухом, выйдет из строя примерно за год. За год эти компании поменяют поменяют парк серверов на треть. Им нет смысла беречь железо, которое через год уйдет на помойку.
3. Объемы и счета за электроэнергию. Охлаждение – наиболее затратная статья в счетах за электроэнергию. Сокращение расходов на охлаждение на 1% сэкономит им несколько миллионов долларов. Что уж говорить про сокращение на 30-50%. И они готовы терпеть некоторые неудобства.

Вторая стратегия подразумевает большую надежность и продолжительный срок эксплуатации охлаждаемого оборудования. Наиболее традиционный пример — это банковская отрасль. Ну и все остальные компании, которые не меняют сервера как перчатки. Недостатки этой стратегии – цена, цена, цена. Строительства, обслуживания, электричества.

Понятно, что большинство компаний рассматривают вариант «максимально функционально и без изысков». Однако просто не всегда просто. Бывает просто и правильно, а бывает совсем наоборот (я прям боксером себя почувствовал).

С температурой все просто. Есть рекомендации производителя сервера, есть рекомендации ASHRAE. Нормальной температурой для большинства серверных я считаю 22-24 градуса.

Если про температуру все помнят, то про объем воздуха не думает практически никто из строящих серверную. Давайте посмотрим на технические параметры сервера. Помимо потребления, размеров и т.п. там есть параметр, обычно измеряемый в CFM (кубические футы в минуту) – это объем прокачиваемого воздуха. То есть вашему серверу нужен воздух определенной температуры и в определенном объеме. Толстым шрифтом с капсом «в определенном объеме». Здесь мы сразу переходим к возможности использования бытовых сплит-систем в серверной. Штука вот в чем — они не справятся с необходимым объемом. Дело в том, что удельное тепловыделение человека несопоставимо мало по сравнению с сервером, а бытовые кондиционеры рассчитаны именно на создание комфортного климата для человека. Их маленькие вентиляторы (как передние конечности тираннозавра) не способны прогнать через себя объем воздуха, необходимого для охлаждения сервера. В результате мы получаем картину, когда сервер прогоняет через себя воздух, кондиционер не может его забрать и горячий воздух перемешивается с холодным. Вы, наверняка, бывали в серверной, где кондиционер выдает +16 градусов, а в помещении +28. Я бывал. Может быть, ваша серверная именно такая?

Ну и чтоб два раза не вставать:

1. Бытовые сплиты рассчитаны на работу 8/5, а серверная работает 24/7. Свой ресурс сплит выработает за год-полтора.
2. Сплиты не умеют подавать воздух нужной температуры на сервер, они умеют выбрасывать из себя воздух нужной температуры, а уж что там попадет на сервер – им все равно (вот такие они гады).
3. У них слишком близко расположены забор и выброс воздуха, а это значит, что горячий и холодный воздух неизбежно будет перемешиваться (и тут см. п.2).
4. Очень трудно заставить сплиты работать в соответствии с показаниями датчиков температуры (и тут опять см. п.2).
В общем, не используйте бытовые сплиты. Не надо. В продолжительном периоде, хороший прецизионный кондиционер выйдет дешевле сплита.

Что касается контроля влажности. В упомянутой вначале статье есть один неправильный посыл. Влажностью нужно управлять, это несомненно. Но только нужно не сушить, а увлажнять воздух. Дело в том, что серверное помещение имеет замкнутый воздухообмен (по-крайней мере должно). И количество влаги в воздухе на стадии 0 (запуск серверной) там находится в определенных пределах. В процессе охлаждения, большинство влаги конденсируется на теплообменнике кондиционера (слишком высока разница температур) и сбрасывается в дренаж. Воздух становится слишком сухим, а это статика на платах и снижение теплоемкости воздуха. Поэтому хорошей тратой денег будет покупка производительного увлажнителя и системы водоподготовки к нему.

Момент, связанный с управлением воздушными потоками. В подавляющем большинстве случаев, блоки вентиляторов в шкафах абсолютно бесполезны. Они тянут воздух снизу вверх, а сервера его тянут спереди назад. Что нужно сделать – выкинуть из сметы блоки вентиляторов и заложить заглушки на пустые юниты в шкафу. Хоть досками заколотите, но закройте все дыры, через которые воздух из задней части шкафа может попасть в переднюю. Пассивные способы управления воздухом в большинстве случаев работают лучше, чем активные. И стоят дешевле.
Мониторинг микроклимата. Очень важный момент. Без мониторинга вы никогда не узнаете, что у вас работает не так, как задумывалось. Мониторить надо и температуру и влажность. Влажность можно мониторить в самой удаленной от увлажнителя точке, поскольку этот показатель одинаков для любой точки помещения. А вот температуру нужно мониторить на передней двери шкафа. Если вы не применяете раздачу холодного воздуха из-под фальш-пола, то достаточно одного датчика на шкаф. Если раздаете воздух через фальш-пол (понятно, что мы уже используем правильные кондиционеры), тогда верной сратегией будет мониторить воздух на разных уровнях от пола (например 0,5 м и 1,5 м). Ну и не лишним будет упомянуть, что в серверной никогда, ни при каких обстоятельствах, нельзя ставить шкафы со стеклянными/глухими дверями. Воздух должен свободно проходить сквозь шкаф и сервер. Если у вас вдруг есть такие шкафы – снимите с них двери.

В качестве резюме:
1. Не используйте бытовые сплиты – они всё делают не так.
2. Управляйте влажностью.
3. И воздушными потоками.
4. Установите заглушки на неиспользуемые юниты шкафа.
5. Используйте шкафы с перфорацией передних и задних дверей. Если у вас нет таких, снимите двери вообще. Ну или дрель вам в руки.
6. Правильно размещайте датчики системы мониторинга. Температуру меряем на передней части шкафа, влажность – в любой части помещения.
7. Уберите из серверной батареи отопления. Они не только греют, но и поливают иногда.
8. Уберите окна. Окна – это теплопритоки и самый простой путь в помещение, минуя бронированную дверь в серверную и пять постов охраны.
9. Сделайте нормальную гидро- и паро- и теплоизоляцию помещения.
10. Инструменты вторичны. Есть огромное количество решений по охлаждению и мониторингу. Главное понять что для вас первично на сегодня, а инструмент найдется.
11. Примите тот факт, что сегодня ИТ – это не только «пропатчить kde под free bsd», VM и БД, но и такие далекие когда-то вещи как энергетика, холодоснабжение, физическая безопасность и архитектура.

Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной

Внутренняя система отвода тепла в современных серверах разработана таким образом, чтобы обеспечить охлаждение всех внутренних компонентов, выделяющих тепло в процессе работы. Однако корпус сервера негерметичен, и теплообмен происходит с окружающей средой серверного помещения, поэтому ошибочно считать, что температура воздуха внутри корпуса будет значительно ниже температуры в серверной. Необходимо также учитывать тот факт, что температура воздуха в серверной вне коммуникационного шкафа, в коммуникационном шкафу и непосредственно в корпусе сервера могут отличаться. Поэтому рекомендуется устанавливать температурные датчики не только в серверном помещении на потолке, но и в каждом коммуникационном шкафу, чтобы иметь объективную информацию о климатических условиях как в шкафах, так и вне их. В целях обеспечения правильной циркуляции воздуха в серверном помещении необходимо проектировать установку кондиционера/системы отопления с учётом потоков воздуха, образуемых этими системами. Для этого в серверных шкафах предусмотрена активная вентиляция, обеспечивающая доступ охлажденного воздуха непосредственно в серверный шкаф. Важным также является правильное расположение устройств в серверном шкафу. Это должно быть выполнено с учётом размеров и тепловыделения устройств. Правильным является применение 1U вентиляторов между оборудованием, которое активно выделяет тепло, чтобы обеспечить вентиляцию и необходимый отвод тепла.

Пример 1U вентиляторов:

Вентиляторы, установленные в нижней части шкафа для притока воздуха:

Вентиляторы, осуществляющие отвод теплого воздуха из шкафа:

На приведенном рисунке показана неправильная установка кондиционера. Рассмотрим очевидные ошибки:

Кондиционер находится прямо над коммуникационным шкафом. В случае возникновения течи в кондиционере оборудование в коммуникационном шкафу окажется залито жидкостью, что может привести к нежелательным последствиям вплоть до короткого замыкания и физического выгорания компонентов оборудования.
Кондиционер установлен почти вплотную к потолку. Подобная установка осложняет возможное проведение технического обслуживания и затрудняет циркуляцию воздуха.

Так почему же необходимо и важно поддерживать температурный режим в серверной?

В серверной комнате, как правило, располагается крайне важное и дорогостоящее оборудование. Выход из строя или временные простои в работе оборудования могут привести к материальным и финансовым потерям. Заглянем вовнутрь современного сервера и попробуем выяснить, какие компоненты наиболее критичны к изменению температуры.

Жёсткий диск.

Является, пожалуй, самым важным компонентом системы. Соответственно выход из строя жёсткого диска в случае отсутствия резервного может стать критичным для организации. Компоненты жёсткого диска являются чувствительными к изменению температуры: к резким повышениям, понижениям и к перегреву. Повышение температуры, как правило, приводит к расширению материала, из которого изготовлены головки, системы позиционирования головки, магнитные диски. Перегрев может привести к отказу жёсткого диска, что в последствии приводит к нежелательной потере важной и дорогостоящей информации.

Оперативная память.

Современная серверная оперативная память снабжена системой пассивного охлаждения и не нуждается в дополнительном охлаждении, тем не менее, стоит помнить, что пассивная система охлаждения эффективна только в определенном диапазоне температур. Если температура в серверной комнате будет повышаться, то никакие радиаторы на линейке памяти не спасут от перегрева оперативную память.

Процессор.

Современные процессоры обладают системами защиты от перегрева. Их датчики будут сигнализировать операционной системе о перегреве и предотвращать работу процессора на высоких температурах.

Наборы микросхем на платах.

Заключение.

Хотелось бы напомнить, что современное вычислительное оборудование разрабатывается с учетом работы в определенных климатических условиях. Поэтому эксплуатация оборудования в условиях, отличных от рекомендованных заводом-изготовителем, может привести к выходу из строя оборудования и, как следствие, отсутствию гарантийного ремонта. Учитывая все изложенное выше, рекомендуем использовать надежные системы контроля климата серверной и надежные системы поддержания климата в серверной.

Всего важней погода в серверной

Cерверные и распределительные шкафы на этаже размещают, как правило, в тесных, плохо проветриваемых помещениях. С точки зрения безопасности такой подход нельзя назвать профессиональным, ведь находящееся в шкафах оборудование жизненно необходимо для бессбойной работы соответствующего сегмента сети и должно быть защищено от несанкционированного доступа и вредных условий окружающей среды. Прежде всего, проблемы могут возникнуть в связи с тепловыделением.

МЕСТО УСТАНОВКИ

Обычные офисные комнаты не предназначены для организации в них «распределительного центра», поскольку уровень шума и выделяемое шкафами тепло значительно ухудшают условия работы. Поэтому системы ИТ следует по возможности размещать в отдельных помещениях, где можно установить контроль за шкафами, серверами и прочими компонентами, включая их программное и аппаратное обеспечение. К важнейшим мерам безопасности относятся правила доступа и организационные процедуры: сопровождение и наблюдение за посторонними людьми, запись происходящего на видеокамеру, а также протоколируемая выдача ключей. В соответствии с предписаниями пожарного надзора подобные комнаты должны оснащаться ручными огнетушителями и, что необязательно, огнеупорными дверями. Более того, возложенная на них нагрузка подлежит обязательной предварительной проверке с учетом потенциальных очагов возгорания, к примеру, проводки.

ЗАЩИЩЕННЫЕ ШКАФЫ

Специальные защищенные шкафы прежде всего предохраняют находящееся внутри дорогостоящее оборудование от несанкционированного доступа. Многие предприятия пользуются запорными системами с цифровыми кодами или устройством считывания магнитных карт. Кроме того, необходима защита от попадания инородных тел, а также от проникновения пыли и воды. Для этого стандартом DIN EN 60529 определены классы безопасности IP, где IP означает международную защиту (International Protection). Например, IP 20 соответствует требованиям для стандартной офисной среды (минимальное количество пыли, полное отсутствие воды), а IP 67, напротив, описывает пыленепроницаемые корпуса, которые какое-то время могут даже находиться под водой.

От токов утечки и полей защищает последовательно осуществленная концепция заземления. При первоначальной инсталляции системных шкафов в Германии необходимо соблюдать требования электромагнитной совместимости из «Технических правил общества немецких электротехников» (Verband Deutscher Elektrotechniker, VDE), в особенности требования VDE 0100, где описаны соответствующие меры безопасности. В этом документе для заземления здания предписывается использование заложенного в фундамент еще при постройке и защищенного оцинкованной стальной лентой кольцевого якоря, сопротивление которого не превышает 6 Ом. Сетевой шкаф должен быть подключен к шине выравнивания потенциала с квадратным сечением не менее 17,6 или, в случае заземления, 25 мм 2 . Все работы, связанные с подобными инсталляциями, обязаны проводить соответствующие специалисты. Ущерб, нанесенный в результате пожара или превышения напряжения, возмещает страховая компания, которой администратор должен представить отчет о происшествии в письменном виде.

Разности потенциалов в одном шкафу можно избежать, если металлические части конструкции соединить друг с другом посредством заземляющих шин. То же самое необходимо проделать с передней и задней дверью и боковыми стенками. При наличии нескольких шкафов, между которыми нет металлического соединения, выравнивание потенциалов достигается благодаря установке дополнительной заземляющей шины и нелакированного винтового крепежа.

ТЕМПЕРАТУРА

Для успешного управления температурой помещение должно быть оборудовано системой контроля климата, в чем особенно нуждаются системы шкафов, где содержится большое количество активных компонентов. Если плотность их размещения слишком высока, каждый шкаф может быть дополнительно оснащен кондиционером. Циркуляция начинается с отвода окружающего воздуха из комнаты. Выделяемое оборудованием тепло нагревает внутреннее пространство шкафа, кондиционер при помощи испарителя забирает это тепло и через конденсатор возвращает его назад в помещение. Следовательно, при недостаточной циркуляции воздуха в комнате температура в ней резко возрастает.

Если в шкафу необходим кондиционер, то для расчета оптимальных рабочих характеристик рекомендуется учитывать следующие исходные данные: эффективную поверхность распределительного шкафа, температуру снаружи и желаемую температуру внутри шкафа, а также ожидаемую мощность потерь, измеренную в ваттах. Кондиционер для шкафа может применяться только в полностью закрытых системах. Серверные шкафы с пассивной принудительной вентиляцией (с вентиляционными решетками) по этой причине не годятся.

ВЕНТИЛЯЦИЯ

Распределительные шкафы по причине многообразных возможностей установки телефонного оборудования, коммутационных панелей, коммутаторов, маршрутизаторов и систем бесперебойного питания, как правило, вентилируются вертикально: в основании шкафа находятся параллельно расположенные вентиляционные решетки, через которые забирается окружающий воздух. Он вбирает тепло и выходит наружу через вентиляционный купол в верхней стенке. В таких системах и передняя, и задняя двери полностью закрыты. При большой мощности тепловых потерь работающих компонентов в охлаждении оборудования может также принимать участие встроенная в крышу шкафа вентиляционная система. Преимущество такого подхода состоит в том, что дополнительного места внутри шкафа не требуется.

СИСТЕМЫ НАБЛЮДЕНИЯ

ЗАЩИТА ОТ ПОЖАРА

Вероятность отказа блоков питания зависит от степени интеграции активных компонентов внутри шкафа. Значительных побочных действий чаще всего не наблюдается, в большинстве случаев выходит из строя лишь одно устройство. Однако любая неисправность способна привести к возникновению пожара, в результате которого будет поврежден весь шкаф, а также подключенные устройства. При наихудшем варианте развития событий пожар повредит рядом стоящие шкафы или даже здание целиком. Главной мерой безопасности является оснащение помещения аппаратной пожарной сигнализацией. Однако оборудование в шкафу может быть уничтожено еще до того, как дымовые датчики зафиксируют первые признаки пожара: они реагируют лишь при достижении определенного уровня задымления комнаты.

Для принятия своевременных и действенных мер в распределительных и серверных шкафах следует использовать 19-дюймовую установку пожаротушения. Она реагирует на соответствующую степень задымления в самом шкафу, и пожар может быть обнаружен еще на ранней стадии. Эти установки занимают обычно полку высотой 2U или 3U в верхнем отсеке шкафа. Блоки системы содержат дымовые датчики, специальный газ для тушения и управляющую электронику.

Отключение активного оборудования выполняется различными способами. В случае возникновения пожара отключается электропитание шкафа и выпускается газ (например, углекислый — СО2), который подавляет огонь. Правда, из-за немедленного прекращения работы компонентов не сохраненные на момент возгорания данные будут утеряны. Но это вполне умеренная плата за спасение от уничтожения всех данных, хранящихся на соответствующих носителях в шкафу.

После демонтажа поврежденных компонентов оставшееся оборудование при необходимости сразу же запускается в эксплуатацию. Противопожарные установки могут применяться многократно, поскольку оснащены сменными газовыми баллонами. Подобная установка, совмещенная с системой наблюдения за шкафом, поможет администратору своевременно узнавать о начале возгорания и немедленно реагировать.

ЗАКЛЮЧЕНИЕ

Даже если администратор при планировании распределительных и серверных шкафов на этаже уделит достаточное внимание всем рекомендациям, высказанным в этой статье, он все равно не сможет добиться абсолютно безотказной работы системы. Однако он будет в состоянии контролировать все сколько-нибудь значимые параметры и свести потенциальный ущерб к минимуму.

Как эффективно охлаждать серверные помещения

Когда в дата-центре растет мощность и плотность размещения оборудования, не только выгод, но и проблем с его обслуживанием становится больше. Одна из них – необходимость в эффективном охлаждении помещения.

Зачем охлаждать серверные помещения

Одна серверная стойка в процессе работы генерирует 5–7 кВт тепла. В небольшой серверной комнате 7–10 стоек будут выделять более 50 кВт тепла. Много это или мало?

Производители серверного оборудования гарантируют его стабильную работу при температуре от +20 до +24 °C. При 40 °C серверы еще функционируют более-менее нормально, но дальше начнутся неприятные вещи: процессоры замедлят работу (включится механизм защиты «троттлинг»), при дальнейшем повышении температуры и вовсе остановятся. А простои в работе ЦОД – это потери для бизнеса денег, доверия, перспективных клиентов.

До отметки в 40 градусов доводить нежелательно и даже опасно. При +35–40 °C оборудование не будет соответствовать заявленному уровню производительности и сроку работы, которых от него ожидают. Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) рекомендует температуру для серверных +20–25 °C, а предельно разрешенную – +15–32 °C. Этих параметров необходимо придерживаться при проектировании зданий для размещения дата-центров и в процессе их эксплуатации.

Повышение температуры негативно влияет на работу традиционных накопителей HHD. Сама по себе температура опасности не представляет, так как до +50 °C жесткие диски работают в штатном режиме. Но в сочетании с возрастом накопителя ускоряет его старение. У твердотельных накопителей SSD при нагревании в ячейках MLC происходит деградация способности сохранения заряда в оксиде кремния. Соответственно их срок службы тоже уменьшается.

Не только процессоры с накопителями, но и источники бесперебойного питания страдают от повышения температуры окружающей среды. Если в нормальных рабочих условиях производитель заявляет от 3 до 5 лет работы, то при +35 °C он сокращается до полутора лет. Даже если вы размещаете централизованные ИБП за пределами серверных помещений, охлаждать их все равно нужно. При повышении температуры на каждые 10 °C сверх рекомендованных +25 °C срок эксплуатации сокращается на 10 %, так как ускоряются процессы сульфатации свинцовых пластин.

Как характеристики помещения определяют температуру

Говоря о температуре в дата-центре, мы имеем в виду не только конкретное оборудование (оно может быть разной мощности и плотности размещения), но и конкретное помещение с его особенностями.

Если серверная обслуживает небольшую компанию и находится в цокольном или подвальном помещении, с охлаждением справится бытовая сплит-система.

Для охлаждения полноценного дата-центра учитывают близость почвы, особенности прокладки инженерных коммуникаций, площадь помещения, а также стройматериалы и другие факторы.

Больше всего на температуру влияет площадь: чем она меньше, тем быстрее растет температура. И наоборот: чем просторнее серверная комната, тем лучше и быстрее рассеивается тепло.

Материалы разной теплопроводности тоже влияют на процессы теплообмена. Если заменить стены и перегородки из гипсокартона на бетонные стены, а подвесные потолки на железобетонные перекрытия, сохранив толщину, эффективность охлаждения возрастет.

Если стены серверного помещения контактируют с улицей, а не с другим помещением, температура внутри будет зависеть от окружающей среды. Хуже всего в солнечные дни, когда с южной стороны стены дополнительно нагреваются. Летним днем при +38 °C серверы, работающие в небольшой комнате 3×3×3 м, будут перегреваться, так как температура в помещении повысится на 4–7 °C. Цифры приблизительные, потому что все зависит от толщины стен и стройматериалов.

Решения для охлаждения серверных помещений

Не стоит надеяться, что серверное оборудование не остановится из-за перегрева. Решения, которые используются в дата-центре, разнообразны, и только вы можете выбрать нужное вам по сложности и стоимости реализации.

Естественная теплопроводность

Нагретые предметы передают тепло окружающей среде или другим объектам с более низкой температурой. Представьте обычную квартиру, в которой тепло рассеивается по комнатам от нагретых радиаторов. То же происходит в серверном помещении, только здесь уходящее через стены тепло – не зло, как в квартире, а наоборот.

При естественной теплопроводности нагретый воздух из серверной уходит в окружающую среду через стены при условии, что в помещении на несколько градусов теплее. Чем больше разница температур, тем лучше. Это самое неэффективное решение для охлаждения серверных помещений. Его редко используют из-за факторов, влияющих на естественную теплопроводность: климатических особенностей региона, расположения помещения относительно уровня почвы, материалов стен, полов и потолков, площади. Эксперты рекомендуют использовать естественную теплопроводность там, где суммарная мощность потребителей электроэнергии не превышает 1 кВт.

Пассивная вентиляция

Принудительная вентиляция

Чтобы сделать воздухообмен более эффективным, скорость движения воздушных потоков увеличивают с помощью вентиляторов. В таких условиях можно рассчитывать на охлаждение группы потребителей мощностью от 700 Вт до 2 кВт.

В пассивной и в принудительной вентиляции важна не только разность температур в смежных помещениях, но и расположение вентиляционных отверстий по отношению к охлаждаемому оборудованию. И по-прежнему не сбрасываем со счетов материалы стен и перекрытий.

Выделенная система охлаждения

По аналогии с квартирой это будет кондиционер, который охлаждает жилплощадь. Только в дата-центре не получится обойтись одним кондиционером (тем более бытовым) – нужна выделенная система охлаждения с прецизионными кондиционерами. С помощью этих автономных шкафов можно точно регулировать и поддерживать в заданном диапазоне температуру и влажность. Плюс они очищают воздух от пыли, которая вызывает сбои в работе электроники.

Охлаждение кондиционером с вытеснением

Для серверных помещений, где нет фальшпола, используют прецизионные кондиционеры с вытеснением, которые устанавливают на специальную подставку. Это позволяет равномерно распределить воздушные потоки по всему объему комнаты и избежать появления тепловых зон. Подставка кондиционера сконструирована таким образом, чтобы направлять холодный воздух к стойкам. Для этого используют специальную систему экранов и конструкций. Такая конфигурация применяется в небольших серверных, рассчитанных максимум на пять-шесть стоек.

Охлаждение кондиционерами через фальшпол

В серверных с 7 и более стойками устраивают фальшпол, благодаря которому распределяется движение воздуха и соблюдается правило горячего и холодного коридора, в котором не смешиваются потоки с разной температурой, и в серверной не появляются горячие и холодные точки.

Чтобы организовать правильную работу охлаждения, нужно рассчитать высоту фальшпола. Под ним должно поддерживаться постоянное воздушное давление, которое автоматически регулируется в зависимости от колебаний тепловой нагрузки. При наличии фальшпола мощность дата-центра может достигать 200 кВт, а если использовать модульные решения, можно повысить ее до 300 кВт.

Система с вытеснением или фальшполом – не единственная рабочая схема охлаждения ЦОД. Охлаждают и серверные стойки, устанавливая в них специальные кондиционеры, используют системы кондиционирования с модулем прямого или свободного охлаждения. Но у многих прецизионных кондиционеров есть недостатки – они плохо справляются с колебаниями нагрузки и не могут обслужить мощности высокой плотности.

Прецизионные кондиционеры Delta Electronics – решение для современного ЦОД

Повышение плотности мощности и необходимость обслуживать сложные рабочие нагрузки послужило стимулом к разработке прецизионных кондиционеров нового поколения. В компании Delta Electronics они представлены в линейке RowCool. В нее входят воздухоохладители для установки рядом с источником тепла и подачей воздуха вверх/вниз, а также воздухораспределительные блоки.

У Delta Electronics есть внутрирядные кондиционеры RowCool с водяным охлаждением, рассчитанные на потребителей различной суммарной мощности: 29 кВт, 43 кВт, 70 кВт и 90 кВт. Они оснащены одноразовыми фильтрами и вентиляторами с горячей заменой.

Альтернатива для потребителей до 35 кВт – внутрирядные кондиционеры RowCool с наружным конденсаторным блоком и спиральным кондиционером. Отдельно можно приобрести воздухораспределительные блоки InfraSuite ADUВ для монтажа к фальшполу.

Современные ЦОД, обслуживающие ответственные рабочие нагрузки, лучше оснастить решениями серии RoomCool F. Они просты в управлении, техобслуживании и ремонте, для удобного взаимодействия с ними производитель предусмотрел семидюймовый сенсорный экран.

Читайте также: