Uptime Institute

Uptime Institute - независимая коммерческая организация, занимающаяся исследованиями в области дата-центров, разработкой стандартов, обучением специалистов, аудитом и сертификацией дата-центров в области надежности и отказоустойчивость. Основана и штаб-квартира - США, 1993г.

Аудит и аттестация производится на основании Tier Standard - системы классификации, определяющей уровни надежности дата-центра.

Надо отметить, что сертификация дата-центра НЕ ГАРАНТИРУЕТ полную отказоустойчивость. Она лишь показывает, что при проектировании дата-центра были максимально учтены все рекомендации по его надежности. Таким образом, мы говорим о том, что “сертифицированный ЦОД имеет меньшую (много меньшую) вероятность отказа, чем не-сертифицированный”.

Отказать может и сертифицированный ЦОД. При этом ЦОД без сертификата может работать много лет без единого сбоя. Во многом, это вопрос вероятности.

Уровни и этапы сертификации Tier

Всего существует четыре уровня надежности Tier (от I до IV) и в каждом из них - три этапа (Milestone) - Design Documents, Constructed Facility, Operational Sustainability.

То есть дата-центр Tier III может быть аттестован по трём этапам.

Уровни Tier

Каждый следующий уровень включает в себя требования всех предыдущих.

Tier I - низший уровень. Выделенное пространство (серверная комната), кондиционер для охлаждения, ИБП, дизель-генератор. Выключение любого одного устройства (ИБП, кондиционер, распределительный щит,…) - ведёт к полной остановке работы. Если технически имеется несколько однотипных устройств (например, кондиционеры), то при выключении одного кондиционера мощности оставшихся недостаточно для нормальной работы. Обслуживание без отключения IT-нагрузки невозможно.

Tier II - есть избыточные компоненты, повышающие надежность и дающие возможность проведения технического обслуживания и работ по повышению запаса прочности. Например, дублирующий кондиционер или второй ИБП, способные полностью взять на себя полную нагрузку. Но, например, при этом только один дизель-генератор. Обслуживание каждого отдельного элемента не влияет на работу IT-нагрузки. Требует отключения IT-нагрузки при выполнении некоторых процедур обслуживания.

Tier III - дата-центр не требует никаких отключений IT-нагрузки для обслуживания или замены каждого отдельного компонента инженерных систем. Отказ компонента полностью покрывается избыточной мощностью других компонентов.

Tier IV - к Tier III добавляется концепция устойчивости инфраструктуры. То есть, при возникновении проблем с какой-то частью инфраструктуры (даже не отдельного её компонента), вся инфраструктура продолжает работать и выполнять свои функции. Можно говорить о полном дублировании всех инженерных систем.

Сертификация по уровням Tier I , Tier II не проводится, хотя это возможно. UptimeInstitute готов это сделать. Вопрос стоимости. Главное чтобы коллеги не засмеяли.

Наиболее популярный уровень - Tier III, так как он выполняет все необходимые функции для обеспечения бесперебойной работы всего оборудования.

Tier IV - наивысший (на сегодняшний день, начало 2024 года) уровень надежности. Адресован крупным корпоративным клиентами, банкам, биржам, финансовым организациям и тд.

Разумеется, строительство дата-центра каждого следующего уровня дороже предыдущего. И, кажется, что кратно дороже.

Как ни странно, строительство ЦОД уровня Tier IV всего лишь на 10-20% дороже по отношению к Tier III.

Этапы сертификации

Design Documents - сертификация проекта. Проще говоря - проверка бумаги. Оценка того, насколько нарисованный проект соответствует требованиям Tier по отказоустойчивости.
Дорогой, сложный процесс, итерационный для устранения замечаний. Однако, это всего лишь оценка проекта. Ещё ни один гвоздь может быть не вбит, ни одна лопата не воткнута в землю, а сертификат уже есть.

Constructed Facility - проверка соответствия того, что построено, тем проектам, которые прошли этап Design Docs. Это реальные проверки физического оборудования, тестирование под нагрузкой как все переключения должны отрабатывать и тд. Можно выполнить и с “живыми клиентами”, но лучше до первого заселенца - на случай, если что-то пойдёт не так. Проверять будут многократными переключениями.

Operational Sustainability - проверка того, как эксплуатируется то, что было построено и проверено, на основании проектной документации, прошедшей сертификацию. Проверка проектов, инструкций, журналов как для обычного режима эксплуатации, так и для аварийных режимов. Проверка знаний и натренированности дежурных, инженеров, менеджеров, руководителей дата-центра, их способности обеспечивать беззбойную эксплуатацию. Высший пилотаж.

НЕ ПУТАТЬ с уровнями интернет-операторов! Оператор TIER I - это высший уровень оператора связи - магистральный операторов мирового масштаба. Тут всё ровно наоборот. Но и это не про надёжность.

Допустимое время простоя в часах и процентах

Я уже писал статью о том, что хвалёная надежность “три девятки”, то есть 99,999% - выглядит внушительно. С другой стороны, это абсолютно легитимная возможность вообще не работать примерно 1 час в год (51 минуту). Расчёты тут.

До 2008 года использовались показатели надежности в процентах и часах (минутах) допустимого простоя в год:

Однако, с 2008 эти параметры не используются, так как не отражают реальной сути термина “надежность” и “отказоустойчивость” для дата-центра. Например, дата-центр уровня Tier III вообще не подразумевает безнаказанно выключаться на полтора часа в год.

Кратковременный (относительно) сбой системы электроснабжения дата-центра Гознак 30 ноября 2023 года привел к восстановительным работам на VK-облаке, длительностью почти неделю.

Один раз мигнуть электричеством на несколько секунд = неделя работы админам и ещё несколько недель менеджерам.

Обратная сторона этих данных - как бы официальное разрешение для дата-центра Tier III отключаться на полтора часа в год, а для Tier IV на 26 минут. В реальности дата-центр не должен отключаться вообще никогда.

С 2008 года нельзя ссылаться на время простоя сертифитированного по Tier дата-центра как на допустимое. Забудьте.

Как проверить

1. Сайт UptimeInstitute.com, раздел Awards (проще сразу гуглить UptimeInstitute Awards - на сайте сложно найти) - список всех дата-центров, прошедших сертификацию Tier.

2. Запросить документы у самого дата-центра. В документах должно быть явно указано когда именно проводилась сертификация, и что именно было аттестовано (вплоть до номера зала).

При некоторых обстоятельствах в общем списке можно не найти нужный вам дата-центр - некоторые ЦОДы в общем списке скрываются. Тогда попросите прислать прямую ссылку. Если сертификат есть, то прямая ссылка быть должна.

Кстати, на сайте UptimeInstitute.com публикуются не только результаты аттестации дата-центров, но также и список специалистов (инженеров, администраторов, управленцев), прошедших обучение и сдавших экзамены Институту.

Жульничество

1. Сертификат выдаётся строго на тот ЦОД, и даже на тот машинный зал, который был представлен к аттестации. Частая история - построить один зал, его сертифицировать, а потом построить ещё несколько “по шаблону”. Так вот, сертифицированным будет только первый зал.
   Причина проста - стоимость. Сертификация каждого следующего зала - это время, деньги, работа инженеров.
   Если вы просите подтверждающие документы, просите точно указать какой именно зал имеет сертификат.

2. Аттестация не того этапа. Сравнивайте обещания (какой именно этап сертификации) и что написано в документах.
   Если говорят, что “сертифицирован по Tier III” - спрашивайте какой этап (проектная документация, реализация, процессы эксплуатации) и сравнивайте с тем, что написано в документах.

3. “Соответствует требованиям Tier III”. То есть, сертификата нет, но ЦОД “соответствует”. Так вот НЕ соответствует. Если официального подтверждения нет, то правильно говорить “мы искренне надеемся, что соответствует, но никто это не проверял”.

4. Дробные уровни. Например Tier II+. Или Tier 2.5. Это прямой обман. Стандарты сертификации Tier прямо запрещают указывать промежуточные, дробные уровни, повышающие коэффициенты и тд. Если вам пытаются такое продать - это прямой обман и нарушение стандартов.
   Сертификат выдаётся по уровню самой слабой, ненадёжной системы ЦОДа. Именно самое “слабое звено” определяет общий уровень Tier.

Процесс сертификации Tier - не просто осмотр или консультация. Это долгий (несколько месяцев), тяжелый труд инженеров, глубокие проверки, несколько этапов устранения замечаний и совершенно негарантированный результат.

Поверьте, те кто прошёл эту сертификацию - будет гордиться своим достижением.

Традиционное представление

Что такое коэффициент PUE и как он рассчитывается рассматривали в статье “PUE – коэффициент эффективности ЦОД”.

Кратко - это отношение общей электрической энергии, потребляемой дата-центром, к количеству энергии, потребленной вычислительными мощностями (серверами, размещенным оборудованием).

Фактически, PUE не может быть равен единице, так как даже обычный вентилятор, используемый для обдува оборудования, потребляет какую-то электроэнергию, соответственно увеличивает знаменатель дроби (общее потребление ЦОДа).

В предельном случае, когда отсутствуют хоть какие-то системы охлаждения, освещения, технического контроля PUE равен единице - когда северное оборудование размещается на улице. Тогда да, работают только сервера, других затрат энергии нет.

Но в жизни крайне сложно представить дата-центр, в котором оборудование, как минимум чувствительное к осадкам, размещается просто на улице.

Таким образом, короткий ответ - нет, PUE не может быть меньше единицы.

Всё таки может ли быть PUE меньше единицы?

Теперь следите за руками, начинается магия.

Сам коэффициент эффективности PUE придуман для контроля эффективности работы оборудования. То есть, фактически, для снижения финансовых затрат работы ЦОДа.

То есть, мы не нарушим никакой логики, если представим PUE как финансовую величину, а не как физическую (в конце-концов, в этом её смысл).

Допустим, ваш дата-центр потребляет всего 750 кВт, а размещенное оборудование - 500 кВт электричества.

PUE = 750 / 500 = 1.5

Допустим, вы покупаете электричество по 7 руб за 1 кВт/час.

Тогда потребление вашего ЦОДа в деньгах:

750 * 24 часа * 30 дней * 7 руб/кВт = 3 780 000 руб/мес.

Потребление оборудования:

500 * 24 * 30 * 7 = 2 520 000 руб/мес.

Тогда выполняется равенство:

PUE = 750 / 500 = 3 780 000 / 2 520 000 = 1.5

И вот тут произошёл тот самый переход, который даёт нам дополнительные возможности.

В любом дата-центре есть есть холодная зона - где работают системы охлаждения оборудования, и горячая зона - там, где стоят ответные части системы охлаждения. То есть внешние радиаторы. Горячие внешние радиаторы.

И вообще, общий смысл ЦОДа без учёта вычислений как полезной работы - большая электрическая грелка.

Самая дорогая грелка из всех возможных (водяной, газовой, угольной, дровяной и тд). Но грелка!

И вы за это тепло УЖЕ заплатили!

Тогда возникает вопрос: а можно ли продать это тепло?

То есть смотрите: происходит магия в знаменателе дроби - там появляется отрицательная величина (выручка от продажи тепла)

PUE = (P общ. ЦОДа - P проданного тепла) / P выч. оборудования

И в этом случае мы получаем саму теоретическую возможность существования PUE ниже единицы

Практический смысл

Одно дело - теория, совсем другое - практическая реализация.

Проблематика отвода созданного тепла в ЦОДе весьма сложная, так как получаемое тепло - низкотемпературное (30-40 градусов) и преобразовать его реально полезное крайне сложно.

Кроме того, почти невозможно согласовать использование такого тепла с ресурсоснабжающими организациями. То есть вам просто не дадут, например, установить систему преднагрева холодной воды для бизнес-центра с использованием теплообменников с водой из ЦОДа, даже несмотря на общее стремление к экономии природных ресурсов: выручка есть выручка, прибыль есть прибыль.

Также крайне серьёзная проблема - превратить тепло внешних блоков кондиционеров в “мокрое” тепло, то есть тёплую воду, которую можно транспортировать на относительно большие расстояния. Тёплый воздух транспортировать многократно сложнее.

Реализация

И всё таки техническая реализация возможна.

1. тёплые полы, тепловые завесы, обогреваемые парковки - не требуют согласований

2. экономия энергоресурсов, выраженная в деньгах, достигнутая с помощью таких решений - вполне может быть использована как вычитаемое в числителе расчёта PUE

3. возможна установка тепловых счётчиков на трубопроводы тёплой воды, что есть прямой путь к оценке стоимости такого тепла

Наиболее близко по техническому решению к целевой задаче приближены ЦОДы жидкостного охлаждения, где сервера полностью опущены в ванну с непроводящей жидкостью. Температура такой ванны - около 40 градусов. И это сразу - “мокрое” тепло, то есть жидкий теплоноситель, который очень удобно использовать для передачи тепла на значимые расстояния.

При этом, затраты на обеспечение работы технических систем в таких ЦОДах “от рождения” довольно низкие - жидкостные насосы и вентиляторы внешних радиаторов потребляют крайне мало электроэнергии по сравнению с компрессорами холодильных систем.

То есть изначально малые затраты на охлаждение + возможность продажи тепла или экономии от его использования определяют возможность реального создания технических систем с коэффициентом PUE меньше единицы.

Правда, с одним ограничением - если PUE выражен в деньгах.

Как рассчитывается PUE

PUE есть отношение полной затраченной электрической энергии ЦОДа к энергии, потребленной вычислительным оборудованием (серверами).

PUE = P общ. / P. серв.

Важно понимать, что PUE никак не учитывает эффективность и “зелёность” самих серверов. Повышение частоты процессора, увеличение количества ядер, снижение тепловыделения процессоров, иногда даже установка правильной операционной системы - это отдельный, важный процесс оптимизации затрат. Но PUE не про это.

PUE показывает насколько эффективно ваш ЦОД обеспечивает необходимые климатические (и тд) условия для обеспечения каких-то размещенных в ЦОД вычислительных мощностей, не важно каких.

Пример расчёта PUE

Допустим, ваш дата-центр потреблет всего 200 кВт электричества, при этом на северное оборудование приходится 125 кВт.

PUE = 200 / 125 = 1,6

Ваш PUE похож на коэффициент эффективности стандартных ЦОДов с использованием фресковых сплит-систем.

В каких диапазонах бывает PUE

Читать статю “Может ли быть PUE меньше единицы?”

Важно понимать, то в таблице даны ооооочень приблизительные данные. В теории можно заставить фреоновую сплит-систему работать на уровне 1.3 - 1.4, а можно и систему с подмесом внешнего воздуха довести до состояния PUE = 1.8. Особенно если систему не обслуживать и не соблюдать регламенты.

Особенности

Любая система охлаждения работает в своих специфических условиях.

Самое большое влияние оказывает климат, а точнее - текущая погода.

Эффективность системы охлаждения растёт зимой, снижается летом. ЦОДы строят как в Африке, так и за Полярным кругом. Везде свои особенности.

Самый правильный PUE - среднегодовой. С учётом работы во всех временах года, в любую погоду.

Лучший расчёт показателя - среднегодовой, лучший вариант наблюдения - график за период до 3 лет.