Бетон, дизель и терабиты: как устроены мегаЦОДы на окраинах российских городов

Архитектура данных за глухими бетонными стенами

Если вы когда-нибудь обращали внимание на гигантские, глухие ангары без окон, расположенные в промышленных зонах на окраинах Москвы, Санкт-Петербурга или где-нибудь под Удомлей рядом с Калининской АЭС, велика вероятность, что перед вами не склады логистических компаний. Это мегаЦОДы — центры обработки данных гигантских масштабов. Именно в этих неприступных крепостях из бетона и стали физически «живет» российский интернет: от ваших фотографий в облаке и профилей в социальных сетях до баз данных налоговой инспекции и процессинга банковских транзакций.

Российский рынок коммерческих дата-центров переживает бум. Строительство мегаЦОДов обусловлено не только законом о локализации персональных данных, но и колоссальным ростом цифровизации экономики. Средний современный ЦОД — это объект, потребляющий десятки мегаватт электроэнергии, что сопоставимо с потреблением небольшого города. Внутри этих бетонных стен поддерживается идеальная стерильная среда: строжайший температурный режим, защита от пыли, влаги и статического электричества. Люди здесь — редкие гости. В основном это инженеры дежурной смены, облаченные в специальную антистатическую одежду, которые следят за тем, чтобы терабайты информации летали по оптическим магистралям без единой задержки.

Физическая безопасность таких объектов сравнима с военными базами. Периметр оборудован системами биометрического контроля доступа, шлюзовыми кабинами с взвешиванием (чтобы человек не мог пронести или вынести лишнее оборудование) и десятками камер видеонаблюдения. Оптические трассы к ЦОДу всегда дублируются и прокладываются независимыми маршрутами глубоко под землей. Если строительная техника случайно порвет кабель на одном из направлений, трафик мгновенно и бесшовно переключится на резервные каналы, ведущие к основным точкам обмена, таким как MSK-IX.

Стандарт Tier III и абсолютная энергетическая независимость

Ключевой показатель любого серьезного дата-центра — его аптайм, то есть время непрерывной работы. Ведущие российские мегаЦОДы строятся по международному стандарту Tier III или даже Tier IV (по классификации Uptime Institute). Главное требование стандарта Tier III заключается в том, что любой компонент инженерной инфраструктуры можно вывести в плановый ремонт или заменить без остановки работы самого ЦОДа. Это достигается за счет тотального резервирования по схеме N+1 или 2N, когда у каждого насоса, кабеля и кондиционера есть работающий дублер.

Энергетика — сердце дата-центра. Если внешнее городское электроснабжение пропадет (а ЦОДы обычно запитаны от двух независимых городских подстанций), оборудование не должно почувствовать даже миллисекундной просадки напряжения. Для этого используются мощные источники бесперебойного питания (ИБП). В современных проектах все чаще применяют ДРИБП — дизель-роторные источники. Они представляют собой гигантские маховики весом в несколько тонн, которые постоянно вращаются. При сбое питания их колоссальная кинетическая энергия моментально преобразуется в электричество, давая системе спасительные 15−20 секунд.

За это время автоматика запускает мегаваттные дизель-генераторные установки (ДГУ) промышленного класса (например, MTU или Caterpillar). Эти генераторы способны сутками питать весь ЦОД автономно. Для них под землей хранятся десятки тонн дизельного топлива в резервуарах. Топливо регулярно подогревается и очищается, чтобы генераторы могли запуститься в любой мороз. По сути, ЦОД уровня Tier III — это отдельная электростанция, которая лишь для экономии ресурса подключена к городской сети.

Борьба за каждый градус: фрикулинг и горячие коридоры

До 40% всей потребляемой дата-центром энергии уходит не на работу серверов, а на их охлаждение. В серверных стойках оборудование установлено невероятно плотно, выделяя колоссальное количество тепла. Если отключить систему охлаждения, температура в машинном зале достигнет критических значений всего за несколько минут, и пластик на кабелях начнет плавиться.

Суровый российский климат, который часто считают недостатком, для индустрии ЦОДов оказался спасением. Инженеры активно используют технологию фрикулинга (free cooling) — охлаждение наружным воздухом. Вместо того чтобы круглый год гонять мощные компрессоры чиллеров, система просто забирает холодный уличный воздух, фильтрует его и подает в залы. В средней полосе России и в Сибири фрикулинг позволяет экономить гигантские средства до 10 месяцев в году. Показатель энергоэффективности (PUE) в таких ЦОДах может достигать впечатляющих 1.15−1.20, что означает, что почти вся энергия идет именно на полезную вычислительную нагрузку.


Внутри самих машинных залов применяется изоляция «горячих» и «холодных» коридоров. Стойки стоят лицом друг к другу, образуя холодный коридор, куда прецизионные кондиционеры под фальшполом нагнетают ледяной воздух. Серверы втягивают его, охлаждают свои процессоры и выбрасывают горячий воздух (температурой до 40−50 градусов) в соседний, горячий коридор, который физически изолирован прозрачным пластиком или стеклом. Это предотвращает смешивание потоков и кардинально повышает эффективность охлаждения.

Пожаротушение без воды: спасение электроники сухим газом

Самый страшный сон любого владельца ЦОДа — это пожар. Использовать воду для тушения серверных стоек стоимостью в миллионы долларов невозможно: она просто уничтожит всю электронику и приведет к катастрофическим коротким замыканиям. Порошковые и аэрозольные системы также недопустимы, поскольку мелкая дисперсия намертво забивает кулеры и оседает на платах, выводя их из строя.

Единственный выход — автоматические установки газового пожаротушения (АУГПТ). Раньше активно применялись различные виды хладонов (например, хладон-125) или газы, вытесняющие кислород (инерген). Но снижение уровня кислорода смертельно опасно для персонала, который может оказаться в машинном зале во время инцидента. Поэтому сегодня золотым стандартом в российских ЦОДах стало использование инновационных «сухих жидкостей», таких как флуорокетон ФК-5−1−12 (наиболее известный под брендом Novec 1230).

Это уникальное вещество выглядит как обычная вода, но совершенно не проводит электричество. Вы можете бросить работающий смартфон или ноутбук в ведро с Novec 1230, и он продолжит работать. При срабатывании пожарной сигнализации этот жидкий газ под огромным давлением выпускается из баллонов через специальные форсунки (насадки). За считанные секунды он заполняет весь объем помещения и переходит в газообразное состояние.

Принцип его действия заключается не в вытеснении кислорода, а в интенсивном поглощении тепла на молекулярном уровне — реакция горения мгновенно останавливается. При этом коэффициент безопасности предельно высок: персонал может спокойно покинуть помещение без риска удушья, ну, а дорогостоящее ИТ-оборудование останется абсолютно неповрежденным и готовым к дальнейшей работе после простого проветривания зала.