По мере расширения вычислительных мощностей в области искусственного интеллекта центры обработки данных развертывают все более плотную инфраструктуру с графическими процессорами, которая генерирует значительное количество тепла. Жидкостное охлаждение с помощью охлаждающих пластин обеспечивает эффективный способ отвода этого тепла, но сам контур охлаждения требует тщательного контроля. Низкое качество охлаждающей жидкости может способствовать коррозии, образованию отложений и засорению, потенциально влияя на эффективность охлаждения и надежность оборудования.
Для облачного провайдера ИИ из Кремниевой долины, обслуживающего 3200 шкафов с графическими процессорами , компания Rika Sensor внедрила решение для мониторинга качества воды в системе жидкостного охлаждения, предназначенное для обеспечения непрерывного контроля ключевых параметров охлаждающей жидкости. Проект обеспечил выполнение требования SLA на уровне 99,99% и интегрировал данные мониторинга с существующей инфраструктурой DCIM центра обработки данных.
Предложенное решение, сочетающее измерение pH, электропроводности, ОВП и мутности, помогает оператору выявлять изменения качества охлаждающей жидкости до того, как они перерастут в более серьезные эксплуатационные проблемы.
Предыстория проекта
В центре обработки данных используется система жидкостного охлаждения с охлаждающими пластинами для отвода тепла, выделяемого шкафами с высокоплотными графическими процессорами. В отличие от традиционного воздушного охлаждения, системы с охлаждающими пластинами циркулируют жидкость непосредственно через охлаждающие компоненты, расположенные вблизи оборудования, выделяющего тепло.
Этот подход обеспечивает эффективный отвод тепла, но охлаждающая жидкость должна оставаться в надлежащих качестве. Изменения pH, электропроводности, окислительно-восстановительного потенциала (ОВП) или мутности могут указывать на изменения в состоянии охлаждающей жидкости или контура охлаждения.
В условиях высокой доступности, когда работают тысячи шкафов с графическими процессорами, заказчику требовался подход к мониторингу, способный поддерживать непрерывную работу, а не полагаться исключительно на периодическое ручное тестирование.
Испытание
Система охлаждения представляла собой ряд проблем с точки зрения мониторинга.
Узкие микроканалы
Холодильные пластины содержали узкие микроканалы. Эти небольшие пути потока могут быть особенно уязвимы для загрязнения, отложений и других проблем, связанных с качеством воды. Ухудшение качества, обнаруженное слишком поздно, может повлиять на циркуляцию охлаждающей жидкости и теплопередачу.
Еженедельный ручной отбор проб
Существующий подход основывался на еженедельном ручном отборе проб. Хотя лабораторные или портативные методы тестирования могут дать полезные результаты, отбор проб через фиксированные интервалы не обеспечивает непрерывной видимости. Изменение, произошедшее между двумя периодами отбора проб, может оставаться незамеченным в течение нескольких дней.
Распределенная инфраструктура
Третья проблема заключалась в физических масштабах объекта. Центр обработки данных состоял из трех географически рассредоточенных помещений, что делало централизованный мониторинг и управление важными для оперативной группы.
Требование к мониторингу
Заказчику требовалось решение для мониторинга качества охлаждающей жидкости с помощью датчиков, способное непрерывно отслеживать несколько важных параметров. Система мониторинга включала в себя:
● Мониторинг pH
● Мониторинг проводимости
● Мониторинг ОВП
● Мониторинг мутности
Эти измерения позволили получить более полную картину состояния охлаждающей жидкости, чем при использовании одного параметра. Система также была разработана как решение для датчиков качества охлаждающей воды в центрах обработки данных , способное взаимодействовать с существующей инфраструктурой мониторинга заказчика.
Решение – Развертывание и ввод в эксплуатацию
Компания Rika Sensor установила датчики pH, электропроводности, ОВП и мутности в стратегически важных местах по всей системе охлаждения. Датчики изготовлены из стали 316L и имеют резьбу G3/4, что позволяет интегрировать их в систему трубопроводов жидкостного охлаждения заказчика.
Контрольные точки были расположены на входах и выходах установок первичной переработки нефти, а также на ответвлениях основных трубопроводов. Это позволило оператору сравнивать состояние охлаждающей жидкости на разных этапах контура охлаждения, а не полагаться на измерения в одной точке.
Для связи с системой датчики передавали данные по протоколу RS485 с использованием Modbus RTU на существующую платформу DCIM. Такой подход позволил интегрировать информацию о качестве воды в центральную систему мониторинга центра обработки данных заказчика.
Проект был реализован в два этапа. На первом этапе было создано 42 точки мониторинга, а на втором этапе, по мере роста потребностей в мониторинге, количество точек было расширено до 128.
В ходе ввода в эксплуатацию инженерная группа выявила проблему, связанную с воздушными пробками в некоторых участках трубопровода. Эти воздушные пробки вызывали колебания показаний датчиков. Вместо того чтобы рассматривать нестабильные показания как неисправность датчика, была проведена проверка схемы установки. Затронутые датчики были перемещены, а также установлены дополнительные вентиляционные клапаны для удаления скопившегося воздуха и стабилизации условий измерения.
Товары с рейтингом
Система мониторинга может включать в себя специализированные датчики для измерения различных параметров жидкостного охлаждения, в том числе датчик электропроводности/электрохимической проводимости жидкостного охлаждения Rika Sensor, датчик pH жидкостного охлаждения , датчик ОВП жидкостного охлаждения и датчик мутности жидкостного охлаждения .
Эти изделия обеспечивают специализированные возможности измерения для контроля качества жидких охлаждающих жидкостей, позволяя операторам создавать систему мониторинга в соответствии с требованиями их системы охлаждения.
Результаты
После ввода в эксплуатацию и начала работы заказчик получил постоянный доступ к ключевым параметрам качества охлаждающей жидкости по всей сети охлаждения. Расширенная зона мониторинга также упростила управление информацией о качестве воды в трех географически удаленных помещениях центра обработки данных.
Одним из практических улучшений стало сокращение частоты ручного отбора проб. Вместо еженедельного сбора проб заказчик сократил ручной отбор до ежемесячного, сохраняя при этом непрерывный онлайн-мониторинг между интервалами отбора проб.
Проект демонстрирует, как специализированная система датчиков качества охлаждающей воды может дополнить существующую инфраструктуру DCIM в крупных центрах обработки данных для искусственного интеллекта. Благодаря непрерывному мониторингу pH, электропроводности, ОВП и мутности операторы могут выявлять изменения качества воды на ранних стадиях, поддерживать профилактическое техническое обслуживание и повышать прозрачность сложных сетей жидкостного охлаждения.
Для высокоплотной инфраструктуры ИИ, где надежность системы охлаждения напрямую влияет на доступность вычислительных мощностей, непрерывный мониторинг качества воды в распределительных системах обеспечивает важный уровень оперативного контроля и технического обслуживания на основе данных.
