Проект мониторинга модернизации системы жидкостного охлаждения в Сингапурском национальном суперкомпьютерном центре

Национальный суперкомпьютерный центр функционирует как национальный центр высокопроизводительных вычислений, где вычислительное оборудование должно поддерживать сложные рабочие нагрузки, обеспечивая при этом надежные тепловые условия. Для этого проекта 512 вычислительных узлов были модернизированы с помощью системы охлаждения с использованием охлаждающих пластин, направленных непосредственно на чип.

В системе с прямым подключением к чипу охлаждающая жидкость циркулирует через холодные пластины, расположенные на тепловыделяющих компонентах. Тепло передается в циркулирующую жидкость и отводится по контуру охлаждения. Такой подход делает состояние охлаждающей жидкости важной частью общего управления системой охлаждения.

В системе охлаждения использовалась смесь деионизированной воды и гликоля. Мониторинг такой системы требует большего, чем просто проверка циркуляции охлаждающей жидкости. Параметры, связанные с качеством воды, могут помочь операторам понять изменения, происходящие внутри контура охлаждения.

Например, pH используется для определения кислотности или щелочности жидкости. Электропроводность может предоставить информацию об ионном составе. В зависимости от конструкции системы и целей мониторинга, эти и другие параметры могут вносить вклад в более широкую стратегию мониторинга качества жидкого охлаждающего вещества .

К факторам, влияющим на ситуацию, добавились еще и экологические условия. В Сингапуре жаркий и влажный тропический климат. Для электронного оборудования мониторинга высокая влажность может увеличить риск образования конденсата, особенно в тех случаях, когда оборудование расположено вблизи систем охлаждения.

По этой причине проекту требовалось решение для мониторинга, которое соответствовало бы физической среде и одновременно обеспечивало надежную связь с существующей инфраструктурой управления центра.

Одной из первых проблем стало ограниченное пространство вокруг существующей системы жидкостного охлаждения.

Поскольку это была модернизация, а не полная установка нового оборудования, необходимо было добавить контрольное оборудование вокруг существующих труб и инфраструктуры. Крупные или сложные устройства могли бы затруднить установку и увеличить объем необходимых модификаций.

Поэтому для проекта было важно наличие компактных и простых в установке устройств мониторинга.

В центре уже использовалась SCADA-система на базе Profibus. Новые устройства мониторинга не могли просто работать как изолированные приборы; их данные должны были стать частью существующей среды мониторинга.

Это создало коммуникационную проблему.

В системах мониторинга использовалась связь Modbus RTU, в то время как существующая инфраструктура SCADA была основана на Profibus. Поэтому для соединения двух систем потребовался шлюз Modbus RTU-to-Profibus-DP.

В процессе интеграции возникло несоответствие скорости передачи данных. Это препятствовало нормальной работе связи до тех пор, пока не была исправлена ​​ошибка конфигурации.

Данная проблема подчеркивает важный аспект, который необходимо учитывать при проектировании датчиков качества охлаждающей воды в центрах обработки данных : выбор подходящего датчика — это лишь часть процесса развертывания. При проектировании и вводе системы в эксплуатацию также необходимо учитывать протоколы связи, шлюзы и параметры конфигурации.

Суперкомпьютерный центр не может просто так отключаться на длительный период всякий раз, когда необходимо установить новое оборудование для мониторинга.

В рамках этого проекта монтажные работы необходимо было тщательно координировать с учетом периодов технического обслуживания. На трубы диаметром DN40 требовалось добавить восемнадцать контрольных точек, а также перекрыть подачу воды.

Таким образом, установка была завершена в течение трех ночей во время плановых профилактических работ.

Такой подход позволил сократить необходимость длительных перерывов в работе, а также обеспечить правильную установку устройств мониторинга.

Тропический климат Сингапура создал еще одну практическую проблему: конденсацию.

Распределительные коробки, содержащие электрические соединения и коммуникационные компоненты, нуждались в дополнительной защите от влаги, связанной с повышенной влажностью окружающей среды. Поэтому в рамках окончательного решения внутри распределительных коробок были установлены антиконденсационные нагреватели.

Главным требованием было создание практичной системы мониторинга, которая могла бы регулярно предоставлять информацию о состоянии охлаждающей жидкости, не полагаясь исключительно на нечастые ручные лабораторные исследования.

Ранее оценка состояния охлаждающей жидкости основывалась на ежемесячных лабораторных анализах. Хотя лабораторный анализ может предоставить ценную информацию, большой интервал между тестами означает, что операторы имеют меньше информации о том, что происходит между датами отбора проб.

Поэтому новая система должна была обеспечивать гораздо более частый мониторинг.

В системе охлаждения было запланировано восемнадцать контрольных точек. Эти точки необходимо было установить на трубах диаметром DN40, соблюдая при этом ограничения по пространству, присущие существующей инфраструктуре.

Система мониторинга также должна была взаимодействовать с SCADA-системой центра на базе Profibus. Вместо того чтобы требовать от операторов использования совершенно отдельной платформы, данные с точек мониторинга должны были быть доступны через существующую среду мониторинга объекта.

После ввода в эксплуатацию система SCADA опрашивала данные мониторинга каждые пять минут. Это позволило создать гораздо более подробную запись о работе системы и обеспечило возможность ежедневного мониторинга тенденций.

Таким образом, для реализации проекта требовалось сочетание следующих факторов:

• Компактное контрольно-измерительное оборудование, подходящее для модернизации существующих систем.
• Совместимость со средой охлаждения, включающей деионизированную воду и гликоль.
• Монтаж на существующие трубопроводы диаметром DN40.
• Интеграция между устройствами Modbus RTU и Profibus-DP
• Надежная работа в условиях высокой температуры и влажности.
• Регулярный сбор данных для мониторинга тенденций.
• Конструкция, которую можно использовать в течение ограниченного периода технического обслуживания.

В совокупности эти требования определили окончательное решение для мониторинга качества охлаждающей воды с помощью датчиков .

В рамках проекта было установлено 18 точек мониторинга в системе жидкостного охлаждения.

Для установки контрольных точек на трубах DN40 использовались тройники с резьбой G3/4. Это обеспечило практичный способ соединения при работе в условиях ограниченного пространства, характерных для модернизации.

Отдельная проблема заключалась в обеспечении связи. Поскольку устройства мониторинга и существующая инфраструктура SCADA использовали разные стандарты связи, был внедрен шлюз Modbus RTU-to-Profibus-DP.

Шлюз позволял передавать данные с оборудования мониторинга Modbus RTU в SCADA-систему центра на базе Profibus.

В ходе ввода в эксплуатацию была выявлена ​​проблема интеграции, когда несоответствие скорости передачи данных влияло на связь. Конфигурация была проверена и исправлена, после чего связь могла продолжаться в соответствии с требованиями.

Также были учтены аспекты защиты окружающей среды. Для решения проблем, связанных с высокой влажностью в условиях эксплуатации, в распределительные коробки были добавлены антиконденсационные нагреватели.

После интеграции система SCADA была настроена на опрос данных мониторинга каждые пять минут.

Такое сочетание физической установки, интеграции средств связи и защиты окружающей среды создало основу для регулярного мониторинга охлаждающей жидкости без необходимости отказа центра от существующей инфраструктуры SCADA.

Планирование развертывания должно было осуществляться с учетом эксплуатационных требований высокопроизводительного вычислительного комплекса.

Поскольку установка оборудования на трубопроводах DN40 требовала перекрытия водоснабжения, работы были распределены на три ночи в рамках плановых профилактических мероприятий. Это позволило команде установить все 18 точек мониторинга, работая в рамках эксплуатационных ограничений объекта.

Процесс развертывания включал установку резьбовых тройников G3/4, размещение контрольно-измерительного оборудования и выполнение необходимых электрических и коммуникационных соединений.

После завершения физической установки внимание переключилось на интеграцию SCADA-системы.

Устройства Modbus RTU были подключены через шлюз Profibus-DP, чтобы их данные можно было интегрировать в существующую систему мониторинга. В ходе ввода в эксплуатацию команда обнаружила несоответствие скорости передачи данных. После перенастройки параметров связи проблема интеграции была устранена.

Внутри распределительных коробок также были установлены антиконденсационные нагреватели для обеспечения дополнительной защиты в тропических условиях.

Наконец, интервал опроса SCADA был установлен на пять минут.

Процесс ввода в эксплуатацию демонстрирует, почему для успешной установки датчика качества воды в системе первичной переработки нефти или для более масштабной системы мониторинга охлаждающей жидкости необходимо учитывать весь путь передачи данных. Датчик, интерфейс установки, протокол связи, конфигурация шлюза и центральная платформа мониторинга — все это должно работать согласованно.

Для систем жидкостного охлаждения компания Rika Sensor предлагает специализированные датчики, которые могут быть частью более широкого решения для мониторинга охлаждающей жидкости.

Датчик pH RK500-12 с жидкостным охлаждением предназначен для непрерывного мониторинга pH в средах с жидкостным охлаждением. Согласно текущим техническим характеристикам продукции Rika Sensor, он совместим с деионизированной водой, средами PG25 и EG25 и поддерживает выходы RS485 и 4–20 мА. Модель с жидкостным охлаждением имеет заявленную точность измерения pH ±0,1 при 25°C, разрешение 0,01 pH, диапазон pH 0–14 и степень защиты IP68. В зависимости от конфигурации, также доступны варианты подключения G3/4 и другие варианты подключения к технологическому процессу.

Датчик pH охлаждающей жидкости может предоставлять непрерывную информацию о кислотности и щелочности, вместо того чтобы полагаться исключительно на периодические ручные измерения. Это делает мониторинг pH полезным компонентом более широкой стратегии мониторинга состояния охлаждающей жидкости.

Компания Rika Sensor также предлагает датчики электропроводности (EC), мутности и ОВП для жидкостного охлаждения. Их можно выбрать в зависимости от параметров, которые необходимо контролировать в конкретном контуре охлаждения.

Например, датчик проводимости для контроля охлаждающей жидкости может использоваться, когда электропроводность является важным параметром качества воды. Комбинирование соответствующих датчиков может предоставить операторам более широкое представление о состоянии охлаждающей жидкости, чем зависимость от одного измерения.

Правильный выбор комбинации датчиков всегда должен зависеть от химического состава охлаждающей жидкости, условий эксплуатации, требований к установке и целей мониторинга системы охлаждения.

Наиболее важным оперативным изменением, произошедшим в результате реализации проекта, стал переход к гораздо более частому мониторингу состояния охлаждающей жидкости.

До начала проекта по модернизации системы мониторинга заказчик полагался на ежемесячные лабораторные анализы. После развертывания и ввода в эксплуатацию данные мониторинга стали поступать в систему SCADA каждые пять минут, и заказчик принял ежедневный мониторинг тенденций в качестве нового подхода.

Это представляло собой существенное изменение в способах наблюдения за состоянием охлаждающей жидкости.

Вместо того чтобы ждать следующего ежемесячного лабораторного анализа для проверки состояния охлаждающей жидкости, операторы получили доступ к регулярно собираемым данным, которые можно было использовать для отслеживания ежедневных тенденций.

В рамках проекта также успешно решены несколько практических задач по внедрению. В течение трех ночей плановых работ по техническому обслуживанию на существующих трубопроводах DN40 было установлено восемнадцать точек мониторинга. Устройства мониторинга Modbus RTU были интегрированы с существующей системой SCADA на базе Profibus через шлюз, а проблема со скоростью передачи данных, выявленная в ходе ввода в эксплуатацию, была решена путем переконфигурации.

Для обеспечения комфортной температуры и влажности на объекте в распределительные коробки были встроены антиконденсационные нагреватели.

В рамках данного проекта не были предоставлены количественные данные по экономии затрат, снижению количества отказов или увеличению срока службы оборудования. Поэтому подтвержденный результат проекта сосредоточен на успешном внедрении и интеграции системы мониторинга, а также на переходе от ежемесячных лабораторных проверок к ежедневному мониторингу тенденций.

Этот проект сингапурского суперкомпьютерного центра демонстрирует, что эффективное внедрение датчиков качества воды для жидкостного охлаждения включает в себя нечто большее, чем просто установку измерительных устройств.

Физическое пространство, тип трубопроводов, совместимость с охлаждающей жидкостью, протоколы связи, условия окружающей среды и периоды технического обслуживания — все это влияет на успешность внедрения системы мониторинга в существующий высокопроизводительный вычислительный комплекс.

В данном случае 18 точек мониторинга были интегрированы в систему жидкостного охлаждения с прямым подключением к чипу, состоящую из 512 узлов. Тройники G3/4 обеспечили практичный способ установки на трубах DN40, а шлюз Modbus RTU-to-Profibus-DP соединил оборудование мониторинга с существующей инфраструктурой SCADA.

Самое важное, что учреждение перешло от ежемесячных лабораторных исследований к ежедневному мониторингу тенденций, основанному на данных, собираемых каждые пять минут.

Для центров обработки данных, вычислительных центров искусственного интеллекта и суперкомпьютерных центров, использующих жидкостное охлаждение высокой плотности, тщательно разработанная система мониторинга качества охлаждающей жидкости может обеспечить операторам более регулярную информацию о состоянии охлаждающей жидкости и сделать информацию о качестве воды частью рутинного управления системой охлаждения.