Проект мониторинга кластера с жидкостным охлаждением в суперкомпьютерном центре

Суперкомпьютерные комплексы сочетают в себе чрезвычайно высокую вычислительную производительность с высокими тепловыми нагрузками. Поэтому поддержание надлежащей рабочей температуры является неотъемлемой частью обеспечения бесперебойной работы вычислительных узлов.

Суперкомпьютерный центр в рамках этого проекта обеспечивает вычислительную мощность в 10 EFLOPS и эксплуатирует 300 вычислительных узлов с жидкостным охлаждением. Вместо того чтобы полагаться исключительно на традиционное воздушное охлаждение, центр использует технологию полностью иммерсивного жидкостного охлаждения со специально разработанной охлаждающей жидкостью PG25.

В условиях погружения в жидкость требования к контрольно-измерительному оборудованию могут быть особенно высокими. Компоненты могут постоянно подвергаться воздействию охлаждающей жидкости, поэтому защита от попадания жидкости и надежная долговременная работа становятся критически важными факторами. В то же время необходимо контролировать состояние охлаждающей жидкости.

A датчик качества воды для жидкостного охлажденияМожет предоставлять информацию о выбранных параметрах охлаждающей жидкости и помогать операторам выявлять изменения, требующие внимания. Например, мониторинг pH может использоваться для наблюдения за изменениями кислотности или щелочности охлаждающей жидкости.

Однако для объекта, содержащего сотни точек мониторинга, сбора отдельных измерений недостаточно. Данные также должны поступать на центральную платформу, где операторы могут наблюдать за состоянием всей системы охлаждения. Поэтому для проекта требовалось решение для мониторинга, сочетающее в себе физическую прочность, возможности связи и предиктивный мониторинг.

Первая серьезная проблема была связана с уровнем защиты предыдущего оборудования для мониторинга. В условиях интенсивного охлаждения датчики должны были постоянно находиться под водой в охлаждающей жидкости. Однако существующие датчики обеспечивали только степень защиты IP67.

За шесть месяцев эксплуатации 17 датчиков подверглись попаданию воды и были повреждены.

Повторные отказы датчиков могут создавать пробелы в мониторинге охлаждающей жидкости и увеличивать объем работ по техническому обслуживанию на крупном предприятии. Учитывая сотни точек мониторинга, распределенных по всей инфраструктуре, замена поврежденных устройств также может увеличить нагрузку на оперативный персонал.

Новыйдатчик качества охлаждающей жидкостиПоэтому для решения этой задачи требовалась более надежная защита при длительном погружении.

Вторая проблема заключалась в качестве электропитания. В суперкомпьютерном центре наблюдались значительные колебания напряжения. Традиционные устройства мониторинга поддерживали только входное напряжение 12–24 В постоянного тока. При нестабильности напряжения питания работа датчиков могла прерываться, а данные мониторинга — теряться. Возникающие в результате пробелы в данных затрудняли операторам поддержание непрерывного контроля за состоянием охлаждающей жидкости.

Для системы мониторинга, предназначенной для анализа тенденций, непрерывность данных имеет особенно важное значение. Отсутствие измерений может ослабить достоверность данных, используемых для понимания того, как условия меняются со временем. Поэтому предприятию требовались датчики, способные работать в более широком диапазоне напряжений.

Система охлаждения включала 300 точек мониторинга, распределенных по различным шкафам.

При прежней системе централизованное управление было затруднено. Персоналу по техническому обслуживанию приходилось осматривать отдельные шкафы, что создавало значительную операционную нагрузку. По мере развития вычислительной инфраструктуры такой ручной мониторинг становится все менее эффективным.

Таким образом, новое решение для мониторинга должно было передавать информацию с датчиков на существующую платформу эксплуатации и технического обслуживания центра, что позволило бы централизованно управлять несколькими точками мониторинга.

Существующая система мониторинга носила преимущественно реактивный характер.

В нем отсутствовали возможности анализа тенденций, которые могли бы помочь обслуживающему персоналу прогнозировать изменения pH охлаждающей жидкости. В результате бригады, как правило, реагировали только после того, как уже произошла аномалия или неисправность.

Такой подход ограничивал возможности для профилактических мер. Поэтому центр хотел перейти от базового мониторинга к системе, способной анализировать тенденции изменения pH и заблаговременно предупреждать об аномальных изменениях.

Выявленные на объекте проблемы обусловили ряд четких требований к мониторингу.

Во-первых, датчики должны были выдерживать длительное погружение в воду. Предыдущие устройства со степенью защиты IP67 уже продемонстрировали, что недостаточная защита может привести к попаданию воды и преждевременному выходу датчиков из строя.

Во-вторых, для работы контрольно-измерительного оборудования требовался более широкий допустимый диапазон входного напряжения. Колебания напряжения были известной характеристикой электросети объекта, поэтому датчики должны были продолжать работать при изменении условий электроснабжения.

Во-третьих, необходима коммуникация для поддержки централизованного управления.

Учитывая сотни точек мониторинга, расположенных в разных шкафах, операторам требовался способ интегрировать информацию мониторинга в существующую платформу эксплуатации и технического обслуживания, вместо того чтобы проверять каждый шкаф отдельно. Система также должна была поддерживать более проактивную стратегию технического обслуживания.

Вместо простого сообщения текущего значения pH, собранные данные должны были использоваться для анализа тенденций, чтобы необычные изменения можно было выявлять до того, как они перерастут в более серьезные проблемы.

Таким образом, основные требования к мониторингу включали:

• Надежное непрерывное погружение в специально разработанную охлаждающую жидкость PG25.
• Улучшенная защита от попадания жидкости.
• Более широкий допуск входного напряжения
• Централизованный сбор данных мониторинга
• Связь по протоколу RS485
• совместимость протокола Modbus-RTU
• анализ тенденций изменения pH
• Раннее предупреждение об аномальных изменениях pH
• Снижение зависимости от индивидуальных проверок шкафов.

В совокупности эти требования легли в основу новой системы контроля качества жидкого охлаждающего вещества.

Для этого проекта суперкомпьютерный центр выбрал датчик pH RK500-12, специально предназначенный для систем жидкостного охлаждения.

В общей сложности было развернуто 120 датчиков в три этапа. Датчики были установлены на боковых стенках систем охлаждения и подключены через шину RS485 к существующей платформе эксплуатации и технического обслуживания центра. Такая архитектура позволила централизованно управлять измерениями pH в местах мониторинга.

Датчики RK500-12 обеспечивают степень защиты IP68, устраняя проблемы проникновения воды, которые наблюдались у предыдущих устройств с классом защиты IP67. Этот уровень защиты позволил датчикам непрерывно работать при погружении в охлаждающую жидкость.

Датчики также поддерживали широкий диапазон входного напряжения 7–30 В постоянного тока. Этот более широкий диапазон входного напряжения был особенно важен, поскольку на объекте наблюдались значительные колебания напряжения. Благодаря возможности работы в более широком диапазоне условий питания, датчики могли продолжать функционировать там, где предыдущие устройства, работавшие от 12–24 В постоянного тока, испытывали перебои.

Поддержка протокола Modbus-RTU стала еще одной важной составляющей решения. Она позволила интегрировать данные с датчиков с существующей платформой центра по эксплуатации и техническому обслуживанию.

Однако проект вышел за рамки простого развертывания оборудования. На основе данных мониторинга также была разработана модель анализа тенденций изменения pH и раннего предупреждения. Это позволило учреждению анализировать изменения во времени и выявлять развивающиеся отклонения на ранних стадиях.

120 датчиков RK500-12 были установлены в три этапа, а не за один раз в рамках крупной масштабной установки. Датчики были размещены на боковых стенках систем охлаждения для обеспечения непрерывного мониторинга специально разработанного хладагента PG25. После физической установки устройства были подключены через шину RS485.

Технология связи Modbus-RTU позволила сети мониторинга взаимодействовать с существующей платформой эксплуатации и технического обслуживания суперкомпьютерного центра. Это создало централизованную среду мониторинга для развернутых датчиков.

Широкий диапазон входного напряжения 7–30 В постоянного тока позволил решить проблему нестабильности электропитания на объекте. Вместо использования датчиков с более узким диапазоном 12–24 В постоянного тока, новые устройства могли работать в более изменчивых условиях электропитания.

Степень защиты IP68 позволила решить еще одну важную задачу при вводе в эксплуатацию: надежную работу при непрерывном погружении в охлаждающую жидкость. После того, как данные мониторинга стали доступны через центральную платформу, проект смог перейти к следующему этапу: анализу тенденций.

Была разработана модель анализа тенденций изменения pH и раннего предупреждения для анализа данных мониторинга и выявления аномальных изменений pH. Это добавило элемент прогнозирования в стратегию мониторинга и позволило оперативной группе отказаться от реагирования только после возникновения проблем.

В основе системы мониторинга лежал специально разработанный для жидкостного охлаждения датчик pH RK500-12.

Для этого проекта одной из важнейших характеристик была степень защиты IP68. Предыдущие датчики с классом защиты IP67 подвергались попаданию воды при длительном погружении, поэтому улучшенная защита была необходима для условий эксплуатации. RK500-12 также поддерживал входное напряжение 7–30 В постоянного тока. Это помогло системе мониторинга адаптироваться к колебаниям напряжения в суперкомпьютерном центре.

Подключение по протоколу RS485 и поддержка протокола Modbus-RTU позволили датчикам взаимодействовать с существующей платформой эксплуатации и технического обслуживания. Как специализированное устройство,датчик pH охлаждающей жидкостиУстройство предоставило данные о pH, необходимые для анализа тенденций и модели раннего предупреждения в рамках проекта.

Хотя данный проект был сосредоточен на мониторинге pH, системы жидкостного охлаждения могут требовать различных измерений качества воды в зависимости от химического состава охлаждающей жидкости и эксплуатационных требований.

Например, датчик проводимости для мониторинга охлаждающей жидкости может быть использован, когда операторам необходимо отслеживать электропроводность в рамках управления охлаждающей жидкостью. Более широкая стратегия использования датчиков качества охлаждающей воды в центрах обработки данных может включать в себя измерение pH и другие соответствующие параметры, если это требуется для конкретного приложения.

Выбор оптимальной комбинации датчиков должен определяться типом охлаждающей жидкости, конструкцией системы охлаждения, целями мониторинга и условиями эксплуатации, а не использоваться одна и та же конфигурация для всех установок жидкостного охлаждения.

Завершенный проект обеспечил ощутимые улучшения в надежности мониторинга и управлении системой.

До начала проекта 17 датчиков со степенью защиты IP67 в течение шести месяцев подвергались воздействию воды и получали повреждения. После внедрения датчиков со степенью защиты IP68 частота повреждений от проникновения воды снизилась до 0%. Датчики работали непрерывно в течение 12 месяцев без сбоев. Среднее время между отказами достигло 15 000 часов, что демонстрирует повышение надежности в условиях постоянного погружения оборудования в воду.

Предыдущие устройства мониторинга испытывали трудности с колебаниями напряжения на предприятии. Благодаря конструкции с широким диапазоном напряжения 7–30 В постоянного тока, потери данных, связанные с нестабильными условиями электропитания, были исключены. Общий процент потерь данных снизился с 12% до 0%. Это обеспечило более непрерывную запись данных мониторинга и позволило проводить более надежный анализ тенденций изменения pH.

Подключение датчиков к платформе эксплуатации и технического обслуживания через шину RS485 решило проблему управления распределенными точками мониторинга. Вместо того чтобы полагаться на регулярные проверки отдельных шкафов, информация с датчиков могла быть интегрирована в центральную платформу центра. Это обеспечило более практичную основу для управления мониторингом охлаждающей жидкости во всей инфраструктуре суперкомпьютера.

Модель анализа тенденций и раннего предупреждения обеспечила возможность прогнозирования, отсутствовавшую в предыдущей системе. Согласно результатам предоставленного проекта, модель смогла прогнозировать аномальные изменения pH за семь дней вперед. Это позволило перейти от стратегии технического обслуживания к проактивному предотвращению. Вместо того чтобы ждать, пока не возникнет аномальное состояние или неисправность, персонал мог использовать информацию о тенденциях для более раннего выявления потенциальных изменений pH и планирования соответствующих действий.

Сочетание повышенной надежности датчиков, устранения потерь данных, связанных с энергопотреблением, и прогнозирующего мониторинга pH способствовало повышению доступности системы. После внедрения доступность суперкомпьютерной системы достигла 99,995%. Для инфраструктуры, обеспечивающей вычислительную мощность в 10 EFLOPS, надежный мониторинг поддерживает более широкую цель обеспечения стабильных и высокодоступных вычислительных операций.

Этот проект суперкомпьютерного центра демонстрирует, как требования кдатчик качества воды для жидкостного охлажденияЭто может измениться, когда контрольно-измерительное оборудование должно непрерывно работать в условиях иммерсивного охлаждения.

Предыдущая система мониторинга страдала от трех основных недостатков: недостаточной защиты от длительного погружения в жидкость, чувствительности к колебаниям напряжения питания и ограниченных возможностей централизованного управления. Кроме того, она предоставляла мало возможностей для прогнозирования изменений условий охлаждающей жидкости.

Внедрение 120 датчиков pH RK500-12, специально разработанных для жидкостного охлаждения, позволило решить эти проблемы благодаря защите IP68, диапазону входного напряжения 7–30 В постоянного тока, возможности подключения по RS485 и интеграции с Modbus-RTU.

Результаты оказались измеримыми. Повреждения от проникновения воды снизились до 0%, потери данных, связанные с питанием, были исключены, общий уровень потерь данных снизился с 12% до 0%, а среднее время безотказной работы достигло 15 000 часов.

Самое важное, что анализ тенденций изменения pH и модель раннего предупреждения позволили выявлять аномальные изменения pH за семь дней до их возникновения. Это позволило центру перейти от реагирования на отклонения в работе системы охлаждения после их возникновения к более проактивному подходу к мониторингу.

Для суперкомпьютерных центров и других вычислительных комплексов с высокой плотностью вычислений эффективное решение.контроль качества охлаждающей жидкостиТаким образом, подход не ограничивается сбором отдельных измерений. Надежные датчики, соответствующая защита окружающей среды, стабильная связь, централизованное управление данными и анализ тенденций могут работать вместе, обеспечивая более полный подход к управлению условиями охлаждающей жидкости в сложных системах жидкостного охлаждения.