Сценарист: Чжоу Сяоянь
Источник: Tencent Technology.
Джеймс Уорди, главный инженер дата-центра Digital Realty в Эшберне. Изображения обработаны ИИ
Джеймс Уодди проходит 30 000 шагов в день.
Его рабочее место расположено в дата-центре площадью более 90 000 квадратных метров в Эшберне, штат Вирджиния. Каждый день он проверяет вентиляционное оборудование, серверную, воздуховоды, кабели и конденсаторы на крыше. Иногда ему приходится нюхать запахи гари, ощупывать отклонения в воздуховодах, проверять, не расклевали ли птицы оборудование.
Может показаться, что это не имеет большого отношения к ИИ, но именно здесь, наконец, и проявляется вычислительная мощность ИИ.
В прошлом году, когда люди говорили об инфраструктуре искусственного интеллекта, они больше фокусировались на графических процессорах, электростанциях, трансформаторах, земле, финансировании и сотнях миллиардов долларов капитальных затрат. Но когда вы действительно войдете в центр обработки данных, вы обнаружите, что это не просто компьютерная индустрия, это еще и огромная физическая система, требующая непрерывной работы 24 часа в сутки.
В настоящее время в США действует около 2700 центров обработки данных. По мере того, как растет спрос на вычислительную мощность, создаваемую искусственным интеллектом, постоянно строятся новые объекты, а требования к электропитанию, охлаждению, сети и другим системам становятся все выше и выше.
За этими системами требуется группа людей, которые будут охранять их в течение длительного времени. Они, возможно, не являются инженерами, разрабатывающими модели ИИ, и не отвечают за обучение больших моделей, но они должны гарантировать, что здание, в котором расположен сервер, не остановится из-за перегрева, отключения электроэнергии, сбоя оборудования или проблемы с оптоволокном.
В каком-то смысле они больше похожи на «нянь» в эпоху искусственного интеллекта.
Тридцать тысяч шагов проверки: в дата-центре не бывает «мелких проблем»
Уорди — главный инженер дата-центра Digital Realty в Эшберне, где он проработал три года.
Дата-центр Digital Realty в Эшберне, Западный Вашингтон.
У него высшее экономическое образование, а ранее он работал в сфере продаж в компании, занимающейся отоплением, вентиляцией и кондиционированием воздуха, пройдя путь от ночной смены до управления десятками инженеров и называя себя «генералом» команды.
Его основная задача — обеспечить непрерывную работу критической инфраструктуры дата-центра. Ежедневные проверки начинаются в помещении кондиционирования воздуха, где огромное оборудование для кондиционирования непрерывно подает холодный воздух в центр обработки данных.
Арендованное оборудование для дата-центра Digital Realty Ashburn не имеет логотипов или названий клиентов.
Дальше зал данных чем-то напоминает гигантскую раздевалку с рядами серверов, помещенных в шкафы или клетки, которые арендуют разные компании. Здесь не видно логотипа клиента и редко можно сказать, кому принадлежит сервер. Оборудование конкурентов может одновременно работать в ряду шкафов. Чем ближе вы к серверу, тем громче рев, и работникам приходится носить беруши.
Оборудование в дата-центре Digital Realty Ashburn
Поднявшись на крышу, Уорди проверяет ряды конденсаторов на наличие неисправностей и высматривает повреждения, нанесенные птицами. Стоя на крыше, он мог видеть вдалеке краны, где строился дата-центр другой компании.
«Здесь хорошо», сказал Уорди. «Мне нравятся такие проверки».
Дата-центр работает уже девять лет, а его коридоры настолько длинные, что некоторые технические специалисты передвигаются на скутерах. Внутри есть высокие кабельные клетки, а также кроватки и душевые для персонала, работающего в экстремальную погоду.
В некоторые дни на объекте может находиться до 120 человек, из которых около 50 являются штатными сотрудниками, а остальные включают сотрудников службы безопасности по контракту и персонал клиентов. Но несмотря на это, многие комнаты в огромном здании остаются свободными в течение недели.
Хотя должность Уорди называется «инженером», с точки зрения конкретного содержания работы она не то же самое, что инженер по исследованиям и разработкам или инженер-конструктор в традиционном смысле этого слова.
Уинстон Смит, аналитик в области технологий, отметил, что этот тип должности ближе к специалисту по критически важным объектам (CFT) или специалисту по эксплуатации и техническому обслуживанию центров обработки данных (DCO Technician). Основными задачами являются инспекции на местах, техническое обслуживание инфраструктуры и реагирование на чрезвычайные ситуации.
Он считает, что Уорди каждый день полагается на слух, обоняние и осязание для обнаружения аномалий, по сути действуя как «человеческий сенсор» для центра обработки данных: обнаруживая возможные проблемы с механическими, электрическими или охлаждающими системами до того, как система мониторинга подаст сигнал тревоги или даже до того, как оборудование выйдет из строя.
Такая работа может показаться тривиальной, но нельзя упустить ни одной детали, поскольку центры обработки данных больше всего боятся несчастных случаев. Неожиданное прибытие крупного оборудования, незначительный сбой системы или даже, казалось бы, незаметная аномалия могут повлиять на резервирование объекта и графики технического обслуживания.
Поэтому для Уорди так называемые «хорошие дни» — это не то, сколько больших проблем решено, а то, что никаких проблем не возникло.
Уорди шел по фальшполу, где в нижних камерах циркулировал воздух для отвода тепла от серверов. По ходу дела он проверял оборудование. Никаких посторонних звуков, никаких необычных запахов, все в норме.
Именно это хотят видеть операторы центров обработки данных.
Шесть девяток: оптическое волокно толщиной в одну десятую толщины волоса не может пойти не так
Центр обработки данных стремится к стабильности до такой степени, что это становится скучным.
По оценкам Digital Realty, время безотказной работы ее центра обработки данных достигло 99,999%, и в настоящее время надеется увеличить его до 99,9999%. Похоже, что осталась только одна «9», но соответствующее годовое время простоя сократится примерно с 6 минут примерно до 30 секунд.
Чтобы выиграть эти десятки секунд, каждое звено в дата-центре должно быть достаточно надежным.
С чем Джефф Хансен, техник центра обработки данных CC&N, сталкивается каждый день, так это с самым маленьким звеном: оптическим волокном.
Диаметр сердцевины одномодового волокна составляет всего 8–9 микрон, а толщина человеческого волоса — около 75 микрон. Когда два оптических волокна соединены, сварочный аппарат должен выровнять сердцевину волокна с 1000-кратным увеличением, а затем сварить стекло вместе с помощью дуги. Хансен называет это «микроскопической сваркой».
«Работа с оптическими волокнами подобна игре с лазерами», — сказал он. "Оптическое волокно — это микроскопическая стеклянная нить, которая несет невероятное количество информации. Это меня очаровывает".
Внутри дата-центра Digital Realty в Эшберне
В комнате гипермасштабного центра обработки данных могут быть тысячи таких подключений. Во время установки каждое волокно прокладывается, заделывается и тестируется индивидуально. Если тест не пройден, за этим могут стоять миллионы причин, и техническим специалистам приходится полагаться на опыт и процессы для пошагового расследования.
Кабели для центров обработки данных
Поэтому «крылья» в дата-центре допускаются редко. Каждый раз перед тем, как команда Хансена выезжает на объект, они встречаются, чтобы подтвердить работу, инструменты и масштаб проекта. Ответственному лицу необходимо будет подготовить брифинг, чтобы заранее понять, как изменилось место проведения с момента последнего посещения.
Потому что центры обработки данных быстро меняются. Объект, который шесть месяцев назад еще строился, возможно, уже полностью введен в эксплуатацию. Права доступа, рабочие протоколы и уровни риска могут быть изменены.
«Вы не можете импровизировать в работе центра обработки данных», — сказал Хансен. «Чтобы все сделать правильно, требуется тщательное планирование, и оно начинается еще до того, как мы ступим на место».
То же самое касается и контроля доступа. Доступ к гипермасштабным центрам обработки данных часто требует проверки бейджей, подтверждения личности и даже сканирования радужной оболочки глаза. Картон и бумага могут быть запрещены из-за образования пыли, а также устройства хранения данных, такие как USB-накопители.
Работа, которая, кажется, занимает всего пять минут, не может быть выполнена сразу, как только вы ее произнесете. Замена оборудования, добавление систем, перемещение кабелей и выполнение технического обслуживания требуют предварительного применения, оценки рисков, планирования и координации с другими группами.
Каждое исключение должно быть зафиксировано. Небольшие колебания мощности, мерцание света, необычные шумы охлаждающего оборудования или даже небольшая лужа воды на земле — все это может стать инцидентом, о котором необходимо сообщить.
Для электромонтажников понятие «безопасность» включает в себя даже три значения одновременно: нельзя пораниться, нельзя поранить своих коллег, нельзя повредить оборудование. Потому что в уже работающем дата-центре перемещение работающего оптоволокна может иметь прямые последствия.
Что действительно нужно дата-центру, так это не герои, находящиеся на месте, а набор процессов, которые не полагаются на героев в максимально возможной степени.
ИИ превращает «няню» в востребованную профессию: за высокой зарплатой скрывается нехватка талантов
В прошлом центры обработки данных были относительно незаметной отраслью. Теперь искусственный интеллект привлек к этому внимание.
По данным поставщика отраслевых данных Data Center Map, в настоящее время в США действует около 2700 центров обработки данных, около 400 находятся в стадии строительства и как минимум 1500 находятся на стадии планирования. Эшберн, где находится Уорди, расположен на «Переулке дата-центров» (Data Center Alley) примерно в часе езды от Вашингтона, округ Колумбия.
Сам по себе дата-центр не является трудоемкой отраслью. Для долгосрочной эксплуатации объекта обычно требуются всего лишь десятки-сотни сотрудников. Но когда одновременно строятся и эксплуатируются тысячи объектов, потребность в инженерах, техниках, обслуживающем персонале и руководителях проектов быстро возрастает.
В этом году на сайте по подбору персонала Indeed было зарегистрировано более 1 миллиона соискателей, которые искали вакансии, связанные с дата-центрами, а объем поиска в августе увеличился в восемь раз по сравнению с началом 2022 года.
Исследование Indeed также показывает, что заработная плата в дата-центрах почасовых работников, занятых в обслуживании и монтаже, примерно на 42% выше, чем на аналогичных позициях в других отраслях. Годовая зарплата менеджера проекта центра обработки данных составляет примерно 115 000 долларов США. Информация, предоставленная Digital Realty, показывает, что годовая зарплата инженеров начального уровня составляет около 66 000 долларов США, а средняя зарплата опытных инженеров может превышать 120 000 долларов США.
Обозреватель технологий Эван Кирстел также отметил это изменение зарплаты. В социальных сетях он заявил, что строительство центров обработки данных приносит более высокие доходы таким должностям, как электрики, техники, специалисты по системам отопления, вентиляции и кондиционирования и безопасности, и что инвестиции в инфраструктуру искусственного интеллекта превращаются в некоторые конкретные возможности трудоустройства для рабочих.
Но что действительно не хватает, так это людей, которые могут справиться со сложной инфраструктурой.
Брэнди Гэлвин Моранди, директор по персоналу компании Equinix, занимающейся цифровой инфраструктурой, сказала, что специалисты в области электрических систем, сетевого проектирования и систем охлаждения пользуются большим спросом.
В дата-центре Эшберна есть как белые, так и синие воротнички. Кто-то отвечает за безопасность, кто-то отвечает за настройку клиентской кабельной системы, кто-то закупает материалы, а за всем объектом следят инженеры. Этот состав рабочих мест примерно аналогичен в других центрах обработки данных в Соединенных Штатах.
Проблема в том, что темпы роста талантов не поспевают за темпами строительства объектов. Синди Фидельман, директор по персоналу компании Digital Realty, сказала, что эти объекты должны работать круглосуточно, поэтому специалистам необходима как техническая подготовка, так и дисциплина безопасности, а также практический опыт, а приток таких талантов медленнее, чем темпы расширения отрасли.
В результате местные колледжи начали предлагать курсы, связанные с центрами обработки данных, а крупные технологические компании начали инвестировать в программы обучения. В Вирджинии Общественный колледж Северной Вирджинии запустил программу создания рабочих мест в центрах обработки данных при поддержке частного сектора. Технологические компании, в том числе Meta, также участвуют в подготовке квалифицированной рабочей силы.
Майкл Э. Уэббер, автор веб-сайта Energy 101 и профессор Техасского университета, считает, что центры обработки данных ИИ создают рабочие места для синих воротничков и могут также вытеснить некоторые рабочие места для белых воротничков, но белых воротничков сравнительно легче переключиться на другие профессии.
Digital Realty в настоящее время управляет более чем 300 центрами обработки данных на шести континентах. На таких объектах, как Эшберн, компания сдает помещения в аренду крупным технологическим компаниям, нуждающимся в вычислительной мощности, включая Oracle, Meta и IBM.
Серверы могут быть из разных компаний, а инженеры могут быть из разных команд, но в конечном итоге все сталкиваются с одним и тем же требованием: систему невозможно остановить.
Дата-центров становится все больше, а быть «няней» становится все сложнее.
Строительный бум, вызванный ИИ, превратил центры обработки данных из закулисной инфраструктуры в отрасль, которая становится все более заметной для общественности.
Дон Аткинсон, 53 года, проработал в Digital Realty около 14 лет, а также занимался обслуживанием систем резервного питания. Сегодня он руководит молодыми инженерами.
Дон Аткинсон, менеджер центра обработки данных Эшберна, Digital Realty
Что заставило его почувствовать себя некомфортно, так это изменение отношения к внешнему миру. Он также сказал, что не очень часто использует ИИ. «Сейчас странное время».
Другой сотрудник, Малкольм Мозли, был более прямолинеен: «Я здесь только для того, чтобы делать свою работу».
Сотрудник дата-центра Digital Realty Ashburn Малкольм Мозли
Но отрасли было трудно оставаться в стороне от этой борьбы. В Атланте компания Digital Realty добивается освобождения от местного запрета на строительство. Запрет ограничивает строительство центров обработки данных вблизи транспортных узлов, где компания надеется построить центр обработки данных стоимостью 500 миллионов долларов. Местные жители выступили против проекта, который в настоящее время заморожен.
Подобные противоречия возникают и в связи с расширением центров обработки данных. Раньше мало внимания уделялось тому, что происходило в этих зданиях. Сегодня вопросы потребления энергии, использования воды и воздействия на сообщества становятся предметом общественного обсуждения.
Отрасль пересматривается. Это уже не просто серверная часть Интернета, но и инфраструктура эпохи искусственного интеллекта. Высокие зарплаты, горячие наймы, разногласия в сообществе, энергетическое давление — все это происходит одновременно. Но за всем этим шумом все же скрывается группа молчаливых инженеров, которые поддерживают работу всего цифрового мира в ритме 30 000 шагов в день.
Хорошая погода или погода, когда ничего не происходит. Хорошие дни и дни, когда ничего не происходит. Вероятно, это никогда не изменится.