Пду для серверного шкафа

Обновлено: 27.03.2024

Если у вас увеличивается количество оборудования, то растут и требования к организации работы этого оборудования. В какой-то момент появляется необходимость в подключении большего количества потребителей, чем у вас имеется розеток. Использование обычных удлинителей и разветвителей приемлемо только в случае небольшого офиса или дома. В случае же с большими офисами, центрами обработки данных и серверными лучше использовать панели распределения питания (PDU).

Это руководство рассмотрит основы распределения электроэнергии для профессиональных систем, чтобы помочь вам принять уверенное и обоснованное решение о покупке.

Первым делом. Что такое PDU?

Блок распределения питания (PDU) распределяет гарантированное питание к множественным потребителям. Оно не производит или не подготовляет питание, а распределяет электрическую энергию от источника, будь то ИБП, генератор или общая сеть, к серверам, сетевому оборудованию, телекоммуникационному оборудованию, и другим приборам.


Для чего предназначен PDU?

PDU выполняет такую же функцию, как разветвитель питания. Он использует напряжение из одного источника, как правило, розетки для питания нескольких устройств, таких как компьютеры, периферия или сетевое оборудование. PDU конструировано выполнены для возможности установки в стойку, и расположения в пределах досягаемости таких устройств как серверы, переключатели, маршрутизаторы или охлаждающие вентиляторы.

PDU наиболее часто используются в центрах обработки данных, системах телефонии VoIP, и промышленной среде.

Какие еще функции может выполнять PDU?

Кроме стандартного распределения питания, PDU может выполнять мониторинг и управление питанием. Ниже приведены восемь наиболее распространенных типов PDU, доступных на рынке:


-Basic

-Metered



-Monitored –Switched -Switched Metered-by-Outlet



-Metered ATS -Switched ATS -Maintenance Bypass


Как выбрать подходящий тип
PDU?

Чтобы найти подходящую модель необходимо ответить на пять вопросов.

2. Какое суммарное потребление подключенных устройств?

3. Какое количество выходные розеток необходимо?

4. Какой тип выходных розеток требуется?

5. Какие нужны дополнительные функции?

1. Где будет устанавливаться PDU?

PDU CyberPower могут выполнены как для горизонтальной, так и для вертикальной установки


Горизонтальные PDU разработаны для установки в 19 дюймовые шкаф. Их можно размещать на любой высоте. Стандартно они бывают размера 1U или 2U.


Вертикальные PDU выглядят как вертикальные удлинители. Они устанавливаются на вертикальные направляющие стойки и не требуют места рядом с оборудованием, экономя свободное пространство в стойке.

Потребляемая каждым устройством мощность должна быть указана в вольт-амперах (Ва) или ваттах (Вт) в руководстве пользователя или на самом оборудовании. Сложите общее потребление оборудования и запишите его. Мощность PDU должна быть больше этого значения.

Примечание: один PDU подключенный к одному ИБП может организовать питание маленькой сети, для подключения больших и сложных установок может потребоваться несколько PDU и система ИБП высокой мощности.

На этот вопрос проще всего дать ответить, достаточно всего лишь пересчитать количество разъемов, которые необходимо подключить к питанию, но и к нему стоит отнестись серьезно, чтобы не ошибиться с выбором. Так же стоит помнить, что кроме оборудования, питание может потребоваться таким устройствам как система охлаждения, освещения и т д.

Каждый PDU может поддерживать несколько видов выходных разъемов. Каждому разъему соответствует свое значение силы тока и напряжения. Стандартно CyberPower предлагает модели PDU для следующих типов штекеров:



6. Нужны ли мне другие функции?

Основная функция PDU распределять питание от одного источника к нескольким потребителям. Оно упрощает подключение, мониторинг и управление IT оборудованием. Дополнительные функции, выполняемые PDU, зависят от его типа, как было сказано ранее, есть восемь основных типов PDU, назначение которых отражено ниже.


1. Basic PDU выполняет только функцию распределения питания.


2. Metered PDU распределяет питание и показывает суммарную нагрузку на устройство, чтобы избежать критической нагрузки и выхода из строя оборудования.


3. Monitored PDU распределяет питание и помогает пользователям предотвратить нештатные ситуации, вызванные перегрузками. На данном типе PDU доступен контроль общего тока и напряжения посредством цифрового дисплея или через сетевой интерфейс SNMP.


4. Switched PDU распределяет питание и позволяет пользователям управлять каждым выходом по отдельности как с устройства, так и по сети. Так же на данном типе PDU доступен контроль общего тока и напряжения посредством цифрового дисплея или через сетевой интерфейс SNMP.


5. Switched Metered-by-Outlet PDU – позволяет распределять питание и управлять каждым выходом по отдельности. На данном типе PDU доступен контроль тока и напряжения каждого вывода посредством цифрового дисплея или через сетевой интерфейс SNMP.


6. Metered Auto Transfer Switch (ATS) PDU – получает питание с от двух независимых источников и позволяет быстро переключать нагрузку от одного источника к другому, в случае пропадания питания главного источника. LCD дисплей отображает значение тока, напряжения, частоты и нагрузки в киловаттах. К данному типу PDU опционально может устанавливаться SNMP карта, для удаленного управления и мониторинга.


7. Switched Auto Transfer Switch (ATS) PDU - обладает всеми характеристиками Metered Auto Transfer Switch (ATS) PDU, а так же может управлять каждым выводом по отдельности как Switched PDU. Данный тип PDU по умолчанию комплектуется SNMP картой, для удаленного управления и мониторинга.


8. Maintenance BypassPDU - помогает предотвратить время простоя потребителей при обслуживании, ремонте или замене ИБП.

Сравнительная таблица характеристик PDU.

Как выбрать PDU для стоек

разные pdu

Рост компании и количества бизнес-процессов неизбежно приводит к масштабированию инфраструктуры. А это – новое дополнительное оборудование и повышенные требования к управлению электропитанием. О розетках и стойках в дата-центре – они же Power Distribution Unit – говорят крайне редко, а, между тем, они неотъемлемый элемент любой системы. Расскажем о том, как происходит выбор PDU для стоек и какие параметры обычно учитываются.

Какие бывают PDU

На первый взгляд кажется, что ничего сложного в подборе розеток нет и быть не может. Но на деле этот процесс оказывается крайне трудоемким. Начать стоит с того, какие вообще ПДУ существуют.

1. Простой блок розеток.

Блок розеток

По сути это обычный «пилот», он наверняка есть у вас дома или в офисе. Формально, такой вариант вообще не является PDU, а значит, для использования с IT-оборудованием подходит мало. Но, как ни странно, некоторые компании закупают подобные блоки для собственных серверных в офисе.

У решения есть единственный плюс – это низкая цена, что может быть важным для стартапов или небольших компаний. Еще иногда такие розетки выручают в случаях использования открытых стоек, в которых нередко возникает проблема размещения стандартных PDU.

Но, как вы понимаете, недостатков у решения значительно больше. Самый главный и опасный из них – это отсутствие внутренней защиты от перегрузок и скачков электроэнергии. Кроме этого, не получится мониторить показатели, и уж тем более отдельно управлять используемыми розетками.

Вы можете позволить себе такое решение только в том случае, если у вас много серверов и вам очень нужно сэкономить, при этом вас не беспокоит возможный сбой оборудования.

2. «Тупые» PDU.

Такие розетки уже предназначены для серверной, потому их можно смело использовать с ИТ-оборудованием. Они имеют соответствующий форм-фактор, который позволяет разместить всю конструкцию внутри или сбоку стойки. Кроме этого, к подобным розеткам оборудование подключать намного легче, а благодаря встроенной защите нет риска перебоев электроэнергии.

Единственный недостаток – это отсутствие мониторинга. То есть вы не сможете узнать, сколько электроэнергии потребляет то или иное оборудование. Именно поэтому такие PDU постепенно уходят из использования. Их можно встретить только в дата-центрах с устаревшим оборудованием.

3. «Умные» PDU с мониторингом

умные pdu пример

Эти устройства считаются самыми совершенными, так как снабжены системой мониторинга. За счет этого они отслеживают параметры электроэнергии. На них имеется дисплей, где отображаются основные показатели:

  • текущий ток;
  • мощность;
  • напряжение сети.

Сведения можно отслеживать как по отдельным розеткам, так и по группам. Плюс подобных PDU в том, что к ним можно подключиться удаленно. То есть не нужно проверять все данные вручную. Кроме этого, можно настроить отправку информации в систему мониторинга. В PDU присутствуют логи, которые позволяют отследить основные события системы.

Другое преимущество – это возможность подсчета потребления для технического учета. То есть, фактически устройства могут определить, сколько стойка потребляет за определенное время.

Недостаток подобных розеток всего один – это их высокая цена.

4. «Умные» PDU с управлением.

pdu с управлением

Эта более современная модификация устройств предыдущей категории. Помимо вышеописанных возможностей, к ним еще добавляется управление. То есть можно контролировать и мониторить все розетки дата-центра, включать или отключать их в нужные моменты, удаленно производить перезагрузку сервера по питанию.

«Умное» PDU для оборудования очень практично в применении, но таит и свои опасности для неопытного пользователя. Например, одним махом можно выключить или перезагрузить всю систему, что может сказаться на множестве бизнес-процессов.

Кроме этого, в таких устройствах периодически происходить перегрев или отказ контроллеров и дисплея. Особенно, если PDU были установлены на задней части стойки, где происходит выдув горячего воздуха и температура достаточно высокая.

На самом деле, это далеко не все разновидности PDU. На современном рынке насчитывается 8 типов, которые применяются с учетом показателей мощности и особенностями установки оборудования. При подборе потребуется учесть ряд дополнительных параметров, о которых мы расскажем ниже.

Чек-лист по выбору

1. Особенности установки PDU в стойке.

pdu в стойке

Установка розеток может производиться горизонтально или вертикально. В первом случае устройства занимают первые юниты и устанавливаются сверху/снизу на любой высоте. Во втором – монтаж происходит на вертикальные направляющие, то есть все юниты в стойке остаются незанятыми.

Конечно, второй вариант лучше с точки зрения практичности, но подходит далеко не для всех центров обработки данных. Поэтому лучше всего посчитать свободные юниты и понять, как лучше установить блоки распределения питания.

Оптимальным является крепление вертикально, слева или справа стойки. В этом случае не тратится полезное пространство. Так как блоки крепятся достаточно компактно, то на одну стойку можно установить до 4 PDU, но чаще крепят только 2 – по одному с каждой стороны.

Горизонтальный способ размещения выбирается в открытых стойках. В них не остается места под вертикальные устройства, поэтому приходится мириться с потерей свободных юнитов.

2. Общее электропотребление.

Обязательным перед выбором розеток является расчет мощности всего оборудования. Его производят в Вт или Ва. Необходимые значения обычно можно найти в документации серверов, иногда – они указываются на самих устройствах.

Чтобы посчитать общую мощность, достаточно сложить показатели каждой единицы оборудования в используемой стойке. Для маленьких сетей обычно хватает 1–2 PDU. Сложные, объемные и разветвленные сети требуют повышенной мощности, поэтому и количество блоков питания в них будет в разы больше.

Конечно, не стоит забывать о некоторых нюансах. Например, вам требуется стойка 6 кВт. Чаще всего производители выпускают варианты на 3, 7, 11 и 22 кВт. На первый взгляд, логичнее всего приобрести PDU на 7 кВт, однако это не так. Потребуется устройство на 11 кВт. Такой большой запас мощности не случаен.

Начать стоит с того, что в большинстве случаев мощность оборудования указана в киловаттах, а не в киловольт-амперах. Как вы понимаете, это два разных значения, поэтому фактически стойка на 6 кВт будет потреблять 6,4 кВА. Полученная цифра меньше 7, но стоит учитывать, что уровень электроэнергии будет меняться с учетом времени суток. Поэтому потребуется заложить определенную часть мощности на различные колебания и скачки.

3. Количество выходных розеток.

стойка с оборудованием

С этим показателем все достаточно просто. Вам достаточно пересчитать количество устройств/разъемов, которые требуется подключить к питанию. В результате вы получите базовое число розеток. Добавьте к полученной цифре несколько дополнительных устройств (например, для подключения вспомогательной системы оповещений), и этого будет достаточно.

4. Конфигурация выходных разъемов.

При выборе «пилота» для стойки не забудьте про такой немаловажный, на первый взгляд, фактор, как конфигурация разъемов. Чаще всего блоки питания рассчитаны на использование вилок двух типов – С13-С14 и C19-C20.

Некоторые производители предлагают PDU с разными типами разъемов. То есть, в них присутствует несколько вариантов со своими значения силы тока и напряжения. Лучше всего заранее сопоставить необходимые типы штекеров и разъемов и понять, какой блок потребуется для каждой стойки.

5. Дополнительные стойки.

Блоки питания необходимы для эффективного распределения электроэнергии от сети к «железу». По сути, это тот же «пилот», но более надежный и безопасный для ИТ-оборудования. И, конечно, вовсе не обязательно, чтобы PDU имело дополнительные функции – даже базовой модели будет достаточно для исправного функционирования всех устройств. Но это не значит, что на рынке нет изделий с различными модификациями.

У продвинутых устройств можно найти следующие функции:

  • Monitored. Отслеживает общий ток и напряжение, все данные выводятся на дисплей или передаются в специальный интерфейс.
  • Metered. Помогает вывести на монитор суммарную нагрузку на каждое устройство. Это позволяет выявить, сколько в реальности потребляет оборудование и нет ли риска критических нагрузок.●
  • Switched. Такой вариант PDU поможет контролировать напряжение и силу тока, а кроме этого управлять каждым выходом при помощи сети.
  • Maintenance Bypass. Модификация, специально созданная для ИБП. Создает изолированную линию питания, что позволяет предотвратить любые перегрузки и обеспечивает безопасное подключение устройств.
  • Metered Auto Transfer Switch. Особенность таких блоков в том, что они подключаются к двум независимым источникам, поэтому нагрузка системы равномерно распределяется и передается на ИБП. На дисплей блока выводятся основные данные по системе, включая ток, напряжение и нагрузки.
  • Switched Auto Transfer Switch. Имеет примерно такой же принцип работы, как и предыдущий вариант. Только дополнительно устройства могут по отдельности управлять каждым выводом.

Выводы

Выбор PDU для стойки – достаточно важный процесс, от которого в будущем зависит производительность и работоспособность дата-центра. Поэтому не удивительно, что центры обработки информации уделяют этому вопросу все больше внимания.

Остались вопросы по теме? Специалисты Xelent всегда готовы ответить на них!

Мы советуем размещать сервера на ru-площадках, находящихся в регионе, где работает ваша компания. Это нужно для максимального качества связи. Наши клиенты могут воспользоваться хостингом для размещения серверов в ЦОД Санкт-Петербурга и Москвы.

ЦОД Xelent предоставляет возможность аренды стойки в дата центре по цене, гибко рассчитываемой и зависящей от количества занимаемых юнитов.

Аренда сервера и СХД необходимой производительности. Все оборудование размещаются в собственном отказоустойчивом ЦОДе с зарезервированными системами энергоснабжения, охлаждения и каналами связи.

Электропитание ИТ-оборудования: безопасность или бесперебойность? часть 2

Продолжаем статью, цель которой — поделиться опытом и показать ключевые особенности и частые ошибки возникающие при проектировании и организации подсистем электроснабжения ИТ-инфраструктуры и ЦОД в целом. Но хотелось бы немного расширить аудиторию и посвятить несколько разделов базовым элементам обеспечения электробезопасности и защиты оборудования и людей.

Тем, кто пропустил первую часть или хочет вспомнить первую часть можно пройти сюда.

Для тех кто понимает, что такое автомат и УЗО, для чего они необходимы, что и от чего защищают – переходите к разделу Нужны ли УЗО для IT-оборудования, серверной, ЦОДа?.

Часть вторая

Посмотрим какая взаимосвязь между энергетикой и конечным ИТ-оборудованием, будем разбираться в вопросе- в каких случаях перебоев в сети питания операционная система гарантированно должна работать без сбоев.




Вопросы переключения на резервный источник питания

Электроснабжение информационного оборудования организовывается с резервированием. Рассмотрим организацию электроснабжения в части ЩБП-БРП-БП (щит бесперебойного питания-блок распределения питания- блок питания). Типы резервирования бывают следующих типов:

  1. Резервирование кабелей к стойке, оборудованию, с использованием отдельных блоков распределения питания, БРП (рисунок 1)
  2. Резервирование шин питания в щите электроснабжения, с использованием отдельных блоков распределения питания, БРП (рисунок 2)


Для переключения между основным и резервным вводом могут использоваться:

  • в сфере информационных систем: шкафы АВР/STS (Static Transfer Swith) для систем большой мощности, для перехода на питание от резервного ИБП в момент работы полноценной системы 2N или комбинаций систем N+1;
  • в сфере систем электроснабжения различного вида схемы АВР (на контакторах, на контроллерах);
  • на уровне серверной стойки: автоматические быстродействующие стоечные АВР\ATS (Automatic Transfer Switсh);
  • на уровне конкретного информационного оборудование: дублированные блоки питания.

Заказчик внедряет локальную серверную вместе с IT-инфраструктурой двух этажей под офис фирмы. На этапе обсуждения системы электропитания у него возникает желание поставить все информационное оборудование с одним блоком питания (БП), а второй слот под БП серверов оставить свободным, и на всю стойку смонтировать единый ATS стоечного исполнения. (рис.4, схема).

Внешний вид тыльной стороны сервера с дублированными блоками питания
Как Заказчик аргументировал свое желание:

  • Экономия средств ($500-800 с каждого устройства в стойке)
  • Можно поставить два простейших БРП и применить их уже для распределения питания после ATS
  • Абсолютно аналогичный уровень надежности системы, по сравнению с классическим способом распределения
  • стоимости (экономии) капитальных затрат при внедрении (CAPEX)
  • стоимости затрат на амортизацию, содержание ЗИП, трудозатрат персонала клиента (OPEX)
  • сравнения алгоритмов работы и времени переключения на резервную линию в обоих вариантах, проверка на «единые точки отказа»
  • уровня рисков зависания и/или перезагрузки операционных систем информационного оборудования, падения информационных сервисов, которые на них работают.

Согласно нормативной базе ГОСТ 32144-2013 (Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электроэнергии в сетях общего назначения. Дата введения – 1 июля 2014 года), основной причиной сбоев в работе информационного оборудования могут стать провалы напряжения, которые

обычно происходят из-за неисправностей в электрических сетях или в электроустановках потребителей, а также при подключении мощной нагрузки

Эта фраза говорит нам, что информационное оборудование должно обеспечиваться ИБП и/или быстродействующими АВР, так как провалы напряжения подобной длительности являются допустимыми и нормальными с точки зрения большой энергетики, но будут являться фатальными для ИТ-оборудования и сервисов.

В последние годы государственные стандарты в области измерений параметров электрической энергии, относящихся к КЭ, активно развивались и были неоднократно переработаны



"

Важным изменением стала замена ГОСТ 13109-97 «Электрическая энергия. Совместимость технических средств электромагнитная. Нормы качества электрической энергии в системах электроснабжения общего назначения» [16] на ГОСТ 32144-2013. Данные стандарты определяют различную номенклатуру показателей качества электроэнергии.


А вот насколько быстродействующим? Как определить то время в миллисекундах, за которое сервис (и сервер) заказчика не упадет, а операционная система не уйдет в «critical error»?

Существует стандарт CBEMA (Computer and Business Equipment Manufacturers Association), который после некоторых корректировок ныне известен как «кривые ITIC» (Information Technology Industry Council), а ее варианты включены в стандарты IEEE 446 ANSI. Согласно этим нормативам, электронные схемы блоков питания должны сохранять работоспособность в течение 20 мс (или 0,02 секунды, то есть период).



Те самые кривые ITIC

Согласно требованиям к блокам питания серверных и компьютерных систем Server System Infrastructure можем сказать, что параметр блока питания Tvout_holdup во время провала напряжения питающей сети обеспечивает работу информационного оборудования минимум 21 мсек. То есть, полный период сети – это гарантированное время нормальной работы сервера или коммутатора. Параметр Tpwok_holdup определен минимально 20мсек.

Справка: Hold-up time (время удержания) — это временной промежуток, в течение которого блок питания может поддерживать выходные напряжения в определенных пределах после пропадания на его входе питающего напряжения. В большинстве компьютерных блоков питания Hold-up time характеризует еще и через какой промежуток времени power good сигнал (PWR_OK) скажет системе, что напряжения, вырабатываемые блоком питания, нестабильны (для компьютерных блоков питания этот параметр обычно более 16 мс).


Вот одна из таблиц из документа


А это диаграмма (time-line) с регламентируемыми алгоритмами работы БП

Можем сделать вывод, что время переключения на резервный ввод для стоечного переключателя нагрузки соответствует спецификации работы блока питания серверного оборудования. Получается, что сбоев в работе информационного оборудования не будет.



А что у нас с экономической составляющей и какой из вариантов более выгоден и отказоустойчив?

Предположим, у нас в стойке имеются три небольших сервера, в которые можно поставить по два блока питания и три устройства с недублированными блоками питания. Все критически важны и отказ любого из устройств выведет в отказ всю систему заказчика в целом. Стоечный переключатель нагрузки нам в любом случае понадобится. Это порядка 18 тыс. рублей.

Заказчик заявляет, что PDU (БРП) им не нужны, значит, в бюджете будет лишь стоимость ATS – те же 18 тыс. рублей. В качестве замены блокам распределения питания (PDU) Заказчик предлагает использовать распределение питания «на борту» стоечного переключателя нагрузки. Также Заказчик планирует купить сервера с двумя слотами под блоки питания, но в комплектации с одним БП ради экономии. (рисунок 4)

Классический вариант (рисунок 3) предполагает комплект из 2-х PDU – около 32 000 рублей, 3 дополнительных блока питания в серверы по $500 каждый за 84 тыс. рублей итого. ATS за те же 18 тыс. рублей. Сложив все, мы понимаем, что классическое решение обойдется Заказчику примерно в 134 тыс. рублей.

Вроде бы действительно, Заказчик прав, деньги совершенно другие. Но давайте посмотрим с точки зрения отказоустойчивости и удобства обслуживания обоих вариантов:
Вариант заказчика: Единая точка отказа – стоечный переключатель нагрузки. Если с ним что-то случится, то мы теряем всю стойку целиком. Значит, надо иметь ЗИП прямо на площадке, что прибавляет к смете 18 000 рублей. Блоки питания в серверах стоят по одному, они тоже являются точками отказа. Значит, желательно иметь хотя бы один, а лучше все три блока питания в резерве на площадке. Примем, что нужны три БП в ЗИП – это еще плюс 36 тыс. рублей. Нужно проверять мощность, которую может коммутировать стоечный ATS. Cейчас мы исходим из того, что 3 кВт или 16А нам хватит на все оборудование стойки. Если нам понадобится ATS на 32А (7кВт), то это будет уже значительно дороже (более 100 тыс. руб). То есть бюджет варианта Заказчика при детальном рассмотрении надежности вырастает до 160 тыс. рублей. При этом в случае ЧП несмотря на то, что запасные части будут на площадке понадобится down-time для замены устройства.

Единая точка отказа (SPOF, Single Point Of Failure) — узел, линия связи или объект системы доступности данных, отказ которого может вывести из строя всю систему, или вызвать недоступность данных

Вариант Открытых Технологий: По рисунку 3, но при необходимости добавляется ATS для мелкого сетевого оборудования с единственным блоком питания.

Точка отказа – тот самый ATS. Если с ним что-то случится, то мы теряем всю стойку целиком. Согласны с тем, что надо иметь ЗИП прямо на площадке. Но в нашем случае, если отказывает только ATS, то это может повлиять лишь на работу коммутаторов и вспомогательного оборудования. Сами серверы спокойно продолжат работу. Блоки питания в ЗИП не нужны. Так как при выходе из строя одного из дублированных блоков питания сервер продолжит работу на оставшемся, и, скорее всего, дождется нового блока питания от вендора, вне зависимости от удаленности площадки.

Единая точка отказа (SPOF, Single Point Of Failure) – узел, устройство или точка схемы, отказ которого может вывести из строя всю систему, вызвать недоступность данных и сервисов. Рассматривается при разработке и проектировании любых критически важных систем. Полное отсутствие единых точек отказа ведет к значительному увеличению капитальных затрат при внедрении, поэтому критичность работы той или иной системы, сервиса определяется на этапе проектирования исходя из бюджета проекта, а также пожеланий и требований Заказчика. Мы всегда находим вариант идеального решения для каждого Заказчика, определяя несколько вариантов реализации проекта, и предлагая их Заказчику. В результате на этапе сдачи проекта заказчик получает именно то решение, которое он хотел видеть по соотношению цена/качество/надежность.

Таким образом, подключать все оборудование стойки на единый ATS можно, но не рационально, так как в этом случае получаем единую точку отказа по питанию. Закупка серверов с дублированными блоками питания предпочтительна в любом случае, так как отказоустойчивость на уровне информационного оборудования увеличивается в разы.

Стоечный переключатель нагрузки обеспечивает корректное и почти мгновенное переключение на резервный ввод, информационное оборудование даже не почувствует этого, программные продукты и операционные системы продолжат корректно работать. Стоечные блоки распределения питания в любом случае нужны и экономить на них не надо. Видимая экономия на капитальных затратах по распределению питания может обернуться нерешаемыми проблемами при эксплуатации, например, необходимости «гасить» всю стойку только для того, чтобы переместить ATS в другой юнит или провести ревизию стоечного переключателя нагрузки. В любом случае для дублированных блоков питания должен быть ЗИП, а он не всегда возможен или имеется.

Внешний вид съемного блока питания сервера:


Например, мощность такого АВР ограничена, и переключать он может комплекс сравнительно слабых с точки зрения потребляемой мощности нагрузок. Есть вопросы к количеству выходных разъемов питания. Например, вышеупомянутый ATS AP7721 оснащен по входу разъемами типа С14, что означает максимальную мощность переключения 2,5 кВт. На большую мощность нагрузки существует 2U модель AP7724, который по входу комплектуется разъемом на 32 А, то есть максимальная мощность оборудования может быть до 7кВт. А это значит, что типовую стойку с оборудованием можно подключить на этот АВР полностью. Однако цена подобного решения будет более 100 тыс. рублей.

Работа информационного оборудования с двумя блоками питания была хорошо описана в статье Вадима Синицкого @dimskiy . Как видим, есть свои достоинства и недостатки. И наличие резервных блоков питания для информационного оборудования в любом случае необходимо, особенно если объект находится вне зоны быстрой поставки блока питания от вендора. Кроме того, хотим заметить, что онлайн калькуляторы расчета мощности новых серверов от вендоров могут применяться лишь как ориентир для системных администраторов, персонала Заказчика.

Реальные возможности подключения нового мощного сервера к существующей стойке должны оцениваться с учетом изначального проекта электроснабжения, текущего состояния и нагрузки электросети стойки, серверной, ИБП, генератора…. С точки зрения подключения в стойке также стоит учитывать:

  • текущие возможности PDU, типа свободных разъемов в них
  • номиналов автоматов в щитах и сечения и фазность кабельной линии к стойке.

А как у вас построена система распределения в стойке?
Каков ресурс БП для ИТ-оборудования и алгоритм их программного резервирования?
Какие вы предпочитаете БРП использовать: базовые, с мониторингом? насколько полезна в практике функция «управляемый БРП/PDU» и помогла ли она вам когда либо?

АВР и все, все, все: автоматический ввод резерва в дата-центре

В прошлом посте про PDU мы говорили, что в некоторых стойках установлен АВР — автоматический ввод резерва. Но на самом деле в ЦОДе АВР ставят не только в стойке, но и на всем пути электричества. В разных местах они решают разные задачи:

  • в главных распределительных щитах (ГРЩ) АВР переключает нагрузку между вводом от города и резервным питанием от дизель-генераторных установок (ДГУ);
  • в источниках бесперебойного питания (ИБП) АВР переключает нагрузку с основного ввода на байпас (об этом чуть ниже);
  • в стойках АВР переключает нагрузку с одного ввода на другой в случае возникновения проблем с одним из вводов.

О том, какие АВР и где используются, и поговорим сегодня.

Основных типа АВР два: ATS (automatic transfer switch) и STS (static transfer switch). Они отличаются принципами работы и элементной базой и используются для разных задач. Если вкратце, то STS — это более «умный» ATS. Он быстрее переключает нагрузку и чаще используется для больших нагрузок/токов. Он более гибок в настройке, зато «с капризами» к сети: может отказаться работать, если 2 ввода питаются от разных источников, например: от трансформатора и ДГУ.

АВР в ГРЩ

Главный АВР дата-центра двадцать лет назад выглядел как сложная система контакторов и реле.



АВР образца начала 2000-х.

Сейчас АВР — это компактное многофункциональное устройство.


Система АВР в ГРЩ управляет вводными автоматами и дает команды на запуск и остановку ДГУ. При нагрузке более 2 МВт на уровне ГРЩ нецелесообразно гнаться за скоростью. Даже если переключится быстро, то пройдет время, пока запустится ДГУ. В этой системе используются более «медленные» ATS и выставляются задержки (уставки). Работает это так: когда питание дата-центра от трансформаторов пропадает, АВР командует устройствам: «Трансформатор, выключись. Теперь ждем 10 секунд (уставка), ДГУ, включись, ждем еще 10 секунд».

АВР в ИБП

На примере ИБП посмотрим, как работает второй тип АВР — STS или static transfer switch.

В ИБП переменный ток преобразуется в постоянный на выпрямителе. Затем на инверторе он превращается обратно в переменный ток, но уже со стабильными параметрами. Это устраняет помехи и повышает качество энергии. При отключении основного источника питания ИБП переключается на аккумуляторные батареи и питает дата-центр, пока в работу включаются ДГУ.

Но что, если из строя выйдет какой-то из элементов: выпрямитель, инвертор или аккумуляторные батареи? На этот случай в каждом ИБП есть механизм обходного пути, или байпас. С ним устройство продолжает работу в обход основных элементов, сразу от входного напряжения. Также байпасом пользуются, когда нужно выключить ИБП и вывести его в ремонт.

STS в ИБП нужен, чтобы безопасно перейти на байпасный ввод. Если коротко, то STS контролирует параметры сети на входе и на выходе, дожидается, когда они совпадут, и переключается в безопасных условиях.


АВР в стойке

Итак, к стойке подведены два ввода электропитания. Если у вашего оборудования два блока питания, вы спокойно подключаете его к разным PDU, и пропадание одного ввода вам не страшно. А если у вашего сервера один блок питания?
В стойке АВР используют, чтобы профит от двух вводов не пропал даром. При проблемах с одним из вводов АВР переключает нагрузку на другой ввод.

Дисклеймер: Если можете, избегайте оборудования с одним блоком питания, чтобы не создавать точку отказа в системе. Дальше мы покажем, в чем недостатки такой схемы подключения.


Задача АВР в стойке — переключить оборудование на рабочий ввод так быстро, чтобы в его работе не было перерыва. Нужную для этого скорость нашли опытным путем: не больше 20 мс. Посмотрим, как это обнаружили.

Сбои в работе серверного оборудования происходят из-за провалов напряжения (из-за работ на подстанциях, подключения мощных нагрузок или аварий). Чтобы проиллюстрировать, как оборудование выдерживает разную амплитуду и длительность перепадов напряжения, разработали кривые безопасной работы электрооборудования CBEMA (Computer and Business Equipment Manufacturers Association). Сейчас они известны как кривые ITIC (Information Technology Industry Council), их варианты включены в стандарты IEEE 446 ANSI (это аналог наших ГОСТов).

Сверимся с графиком. Наша задача, чтобы устройства работали в «зеленой зоне». На кривой ITIC мы видим, что оборудование готово «терпеть» провал максимум 20 мс. Поэтому мы ориентируемся, чтобы АВР в стойке отрабатывал за 20 мс, а лучше — еще быстрее.

Устройство АВР. Типовой АВР (ATS) в стойке нашего ЦОДа занимает 1 юнит и выдерживает нагрузку 16 А.

На дисплее видим, от какого ввода питается АВР, сколько подключенные устройства потребляют в амперах. Отдельной кнопкой выбираем, отдать приоритет первому или второму вводу. Справа — порты для подключения к АВР:

  • Ethernet port — подключить мониторинг;
  • Serial port — зайти через ноутбук и посмотреть в логах, что происходит;
  • USB — вставить флешку и обновить прошивку.


На тыльной стороне — вилки для подключения основного и резервного вводов и розеточная группа для подключения ИТ-оборудования.


Подробные характеристики АВР мы смотрим через веб-интерфейс. Там настраивается чувствительность переключения и видны логи.



Веб-интерфейс АВР.

Установка и подключение АВР. Устанавливать АВР по высоте лучше в середину стойки. Если мы заранее не знаем комплектацию стойки, то так оборудование с одним блоком питания сможет дотянуться проводами и с нижней, и с верхней части.

А вот дальше есть нюансы: глубина стандартной стойки гораздо больше, чем глубина АВР. Мы рекомендуем установить его как можно ближе к холодному коридору по двум причинам:

    Доступ к передней панели. Если установить АВР ближе к горячему коридору, мы увидим индикацию, но не сможем подключиться к нему через порты. А значит, не сможем посмотреть логи или перезагрузить устройство.


  • потоками воздуха, которые дуют на него извне;
  • крепежами, которые уводят лишнее тепло.



АВР парится лицом к горячему коридору.

Был случай. Инженер на обходе услышал нехарактерные щелчки.
В недрах горячего коридора под грудой серверов обнаружился АВР, который постоянно переключался с основного ввода на резервный.

АВР заменили. Логи показали, что целую неделю он переключался каждую секунду — итого более полумиллиона коммутаций. Вот как это было

Какие еще АВР бывают в стойке

Вводный ATS для стойки. В нашем ЦОДе такой АВР выступает единственным источником распределения питания в стойке: работает как АВР+PDU. Занимает несколько юнитов, выдерживает нагрузку 32 А, подключается промышленными разъемами и может питать до 6 КВт оборудования. Использовать его можно, когда нет возможности смонтировать стандартные PDU, а одноблочное оборудование в стойке не обслуживает критичные нагрузки.


Cтоечный STS. STS в стойке используется для оборудования, чувствительного к перепадам напряжения. Этот АВР переключается быстрее, чем ATS.



Этот конкретный STS занимает 6 юнитов и у него немного «винтажный» интерфейс.

Мини-АВР. Бывают и такие малышки, но у нас в ЦОДе такого не водится. Это мини-АВР для одного сервера.



Этот АВР подключается прямо в блок питания сервера.

Как мы ищем идеальный АВР

Мы тестируем много разных АВР и проверяем, как они ведут себя в условиях высоких температур.

Вот как издеваемся над АВР, чтобы это проверить:

  • подключаем к нему регистратор качества сети, сервер и еще несколько устройств для нагрузки;
  • изолируем стойку заглушками или пленкой, чтобы достичь высокой температуры;
  • нагреваем до 50°С;
  • поочередно отключаем вводы по 20 раз;
  • смотрим, не было ли провалов питания, как себя чувствует сервер;
  • если АВР проходит тест — нагреваем до 70°С.



Анализатор сети фиксирует напряжение с течением времени. На записи видим, сколько длилось переключение: на этот момент синусоида прервалась

Кстати, берем АВР на тест: проверим ваше устройство на прочность и расскажем, что получилось ;)

АВР в стойке: скрытая угроза

Главная проблема с АВР в стойке в том, что он умеет только переключать нагрузку с основного на резервный ввод, но не защищает от короткого замыкания или перегрузки. Если на блоке питания происходит короткое замыкание, то по защите сработает автоматический выключатель уровнем выше: на PDU или в распределительном щите. В результате один ввод отключается, АВР это понимает и переключается на второй ввод. Если короткое замыкание еще остается, сработает автоматический выключатель второго ввода. В итоге из-за проблемы на одном оборудовании может обесточиться вся стойка.

Так что еще раз повторю: тысячу раз подумайте, прежде чем устанавливать АВР в стойку и использовать оборудование с одним блоком питания.

PDU и все-все-все: распределение питания в стойке



Одна из стоек внутренней виртуализации. Заморочились с цветовой индикацией кабелей: оранжевый обозначает нечетный ввод по питанию, зеленый – четный.

Мы тут чаще всего рассказываем про “крупняк” – чиллеры, ДГУ, ГРЩ. Сегодня речь пойдет о “мелочах” – розетки в стойках, они же Power Distribution Unit (PDU). В наших дата-центрах более 4 тысяч стоек, забитых ИТ-оборудованием, поэтому в деле я видел много всякого: классические PDU, “умные” – с мониторингом и управлением, обычные блоки розеток. Сегодня расскажу, какие PDU бывают и что лучше выбрать в конкретной ситуации.

Какие бывают PDU

Простой блок розеток. Да, тот самый, который живет у каждого дома или в офисе.
Формально это не совсем PDU в смысле промышленного использования в стойках с ИТ-оборудованием, но и эти устройства имеют своих поклонников. Единственный плюс такого решения – дешевизна (стоимость стартует от 2 тыс. руб.). Еще они могут выручить, если используешь открытые стойки, куда стандартный PDU никак не впихнуть, а терять юниты под горизонтальный PDU не хочется. Это снова к вопросу об экономии.

Минусов сильно больше: у таких устройств не всегда есть внутренняя защита от КЗ и перегруза, мониторить показатели и тем более не получится управлять розетками. Чаще всего размещаться они будут внизу стойки. Это не самое удобное положение розеток для расключения оборудования.

В общем, “пилоты” можно использовать, если:

  • у вас тысячи серверов и вам нужно сэкономить,
  • вы можете себе позволить вслепую подключать оборудование, не понимая, что там происходит с реальным потреблением,
  • готовы к downtime оборудования.



Дешево и сердито.



Вертикальное размещение.

“Тупые” PDU. Собственно, это классический PDU для использования в стойках с ИТ-оборудованием, и это уже хорошо. У них соответствующий форм-фактор для размещения по бокам стойки, за счет чего к ним удобно подключать оборудование. Есть внутренняя защита. Мониторинга у таких PDU нет, а значит, мы не будем знать, какое оборудование сколько потребляет, и что вообще происходит внутри. Таких PDU у нас почти не осталось, и в целом они постепенно уходят из массового использования.

Стоят такие PDU от 25 тыс. рублей.


“Умные” PDU с мониторингом. У этих устройств есть “мозги”, и они умеют отслеживать параметры энергопотребления. Есть дисплей, куда выводятся основные показатели: напряжение, текущий ток и мощность. Отслеживать их можно по отдельным группам розеток: секциям или банкам. К такой PDU можно подключиться удаленно, настроить отправку данных в систему мониторинга. Они пишут логи, по которым можно посмотреть все, что с ней происходило, например, когда именно выключилась PDU.

Еще они умеют считать потребление (кВт*ч) для технического учета, чтобы понимать, сколько стойка потребляет за определенное количество времени.

Это стандартные PDU, которые мы предлагаем своим клиентам в аренду, и таких PDU большинство в наших дата-центрах.

Если будете покупать, приготовьтесь выложить от 75 тыс. рублей за штуку.





График из нашего внутреннего мониторинга PDU.

“Умные” PDU с управлением. К выше описанным умениям у этих PDU добавляется управление. Самые крутые PDU управляют и мониторят каждую розетку: можно включать/выключать, что бывает нужно в ситуациях, когда есть задача удаленно перезагрузить сервер по питанию. В этом и прелесть, и опасность таких PDU: рядовой пользователь по незнанию может зайти в веб-интерфейс, что-то нажать и одним махом перезагрузить/выключить всю систему. Да, система дважды предупредит о последствиях, но практика показывает, что даже алармы не всегда защищают от необдуманных действий пользователя.

Большая проблема “умных” PDU – это перегрев и отказ контроллера и дисплея. PDU обычно устанавливаются на задней части стойки, там, где идет выдув горячего воздуха. Там жарко, и контроллеры не выдерживают. PDU при этом не нужно менять целиком, контроллер можно поменять на горячую.

Ну и по стоимости совсем кусаче – от 120 тыс. рублей.



PDU с управлением можно узнать по индикации под каждой розеткой.

На мой взгляд, функция управления в PDU дело вкуса, а вот мониторинг – это must have. В противном случае, нельзя будет отследить потребление и нагрузку. Почему это важно, расскажу чуть позже.

Как рассчитать нужную мощность PDU?

На первый взгляд, тут все достаточно просто: мощность PDU подбирается в соответствии с мощностью стойки, но есть нюансы. Допустим, вам нужна стойка 10 кВт. Производители PDU предлагают модели на 3, 7, 11, 22 кВт. Выбираете 11 кВт, и, к сожалению, вы будете не правы. Выбрать нам придется 22 кВт. Зачем же нам такой большой запас. Сейчас все объясню.

Во-первых, производители часто указывают мощность PDU в киловаттах, а не в киловольт-амперах, что более правильно, но не очевидно для обывателя.
Иногда производители сами вносят дополнительную путаницу:

Вот тут сначала говорится про 11 кВт,


А в подробном описании речь уже о 11000 VA:


Если вы имеете дело с чайниками и подобными потребителями, то разницы между кВт и кВА не будет. Стойка на 10 кВт с чайниками будет потреблять 10 кВА. А вот если у нас ИТ-оборудование, то там появляется коэффициент (cos φ): чем новее оборудование, тем ближе этот коэффициент к единице. В среднем по больнице для ИТ-оборудования можно брать 0,93–0,95. Поэтому стойка с 10 кВт с ИТ будет потреблять 10,7 кВА. Вот формула, по которой мы получили 10,7 кВА.

Pполн.= Pакт./Cos(φ)
10/0.93=10.7 кВА

Ну и вы зададите резонный вопрос, 10,7 – это же меньше 11. Зачем нам ПДУ на 22 кВт? Есть второй момент: уровень электропотребления у оборудования будет меняться в зависимости от времени суток, дня недели. При распределении питания нужно учитывать этот момент и закладывать ~10% на колебания и скачки, чтобы в момент повышения потребления PDU не ушли в перегруз и не оставили без питания оборудование.



График потребления стойки 10 кВт за 4 дня.

Получается, что к имеющимся у нас 10,7 кВт мы должны прибавить еще 10%, и в итоге ПДУ под 11 кВт нам уже не подходит.

Модель ПДУ
Фазность
Мощность производителя, кВА
Мощность DtLN, кВт
AP8858
1 ф
3,7
3
AP8853
1 ф
7,4
6
AP8881
3 ф
11
9
AP8886
3 ф
22
18

Фрагмент таблицы мощности конкретных моделей PDU по версии DataLine. С учетом перевода из кВа в кВт и запаса на скачки в течение суток.

Особенности монтажа

Удобнее всего работать с PDU, когда она крепится вертикально, слева и справа стойки. В этом случае она не занимает полезного пространства. Штатно в стойку можно установить до четырех PDU — два слева и два справа. Чаще всего ставят по одной PDU с каждой стороны. На каждую PDU приходит по одному вводу питания.



Стандартный “обвес” стойки — 2 PDU и 1 АВР.

Иногда в стойке нет места под вертикальные PDU, например, если это открытая стойка. Тогда на помощь приходят горизонтальные PDU. Единственное — в этом случае придется смириться с потерей от 2 до 4 юнитов в стойке в зависимости от модели PDU.



Здесь PDU съела 4 юнита. Такой тип PDU также используется, когда нужно разграничить двух клиентов в одной стойке. В этом случае у каждого клиента будет отдельная пара PDU.

Бывает, что стойку выбрали недостаточно глубокую, и сервер торчит, перекрывая PDU. Здесь самое печальное не то, что часть розеток будет простаивать, а то, что если такая PDU сломается, то придется ее похоронить прямо в стойке, или же отключать и вытаскивать все мешающее оборудование.



Не делайте так — 1.



Не делайте так — 2.

Подключение оборудования

Даже самая навороченная PDU не поможет, если оборудование подключено неправильно и нет возможности мониторить потребление.

Что может пойти не так? Немного матчасти. На каждую стойку приходят два ввода питания, в стандартной стойке два PDU. Получается, у каждого PDU свой ввод. Если с одним из вводов (читай PDU) что-то происходит, то стойка продолжает жить на втором. Чтобы эта схема работала, нужно соблюдать некоторые правила. Вот основные (полный список найдете здесь):

Оборудование должно быть подключено в разные PDU. Если у оборудования один блок питания и одна вилка, то к PDU оно подключается через АВР (устройство автоматического ввода резерва), или ATS (Automatic Transfer Switch). В случае неполадок с одним из вводов или самим PDU, АВР переключает оборудование на здоровое PDU/ввод. Оборудование ничего не почувствует.

Парная нагрузка на двух вводах/PDU. Резервный ввод спасет, только если он выдержит нагрузку упавшего ввода. Для этого нужно оставлять запас: загружать каждый ввод меньше чем наполовину от номинальной мощности, а суммарная нагрузка на двух вводах была менее 100 % от номинала. Только в этом случае оставшийся ввод выдержит двойную нагрузку. Если у вас не так, то фокус с переключением на резерв не состоится — оборудование останется без питания. Чтобы не допустить самого страшного, мы мониторим этот параметр.

Балансировка нагрузки между секциями PDU. Розетки PDU объединены в группы — секции. Обычно из 2 или 3 штуки. У каждой секции свой лимит по мощности. Важно не превышать его и распределять нагрузку равномерно по всем секциям. Ну и тут также работает история с парными нагрузками, про которую говорили выше.

Читайте также: