Proyecto de monitorización de clústeres de refrigeración líquida en un centro de supercomputación.

Las instalaciones de supercomputación combinan un rendimiento computacional extremadamente alto con elevadas cargas térmicas. Por lo tanto, mantener temperaturas de funcionamiento adecuadas es fundamental para garantizar la disponibilidad de los nodos de computación.

El centro de supercomputación de este proyecto proporciona 10 EFLOPS de potencia de cálculo y opera 300 nodos de computación refrigerados por líquido. En lugar de depender únicamente de la refrigeración por aire convencional, la instalación utiliza tecnología de refrigeración líquida totalmente inmersiva con refrigerante PG25 personalizado.

En un entorno de inmersión, los requisitos para los equipos de monitorización pueden ser especialmente exigentes. Los componentes pueden permanecer expuestos continuamente al refrigerante, por lo que la protección contra la entrada de líquido y un funcionamiento fiable a largo plazo se convierten en consideraciones críticas. Al mismo tiempo, es necesario monitorizar el estado del refrigerante.

A sensor de calidad del agua de refrigeración líquidaPuede proporcionar información sobre parámetros seleccionados del refrigerante y ayudar a los operadores a identificar cambios que requieran atención. Por ejemplo, el monitoreo del pH puede utilizarse para observar cambios en la acidez o alcalinidad del refrigerante.

Sin embargo, para una instalación con cientos de puntos de monitoreo, recopilar mediciones individuales no es suficiente. Los datos también deben llegar a una plataforma central donde los operadores puedan observar las condiciones en toda la infraestructura de refrigeración. Por lo tanto, el proyecto requería una solución de monitoreo que combinara durabilidad física, capacidad de comunicación y monitoreo predictivo.

El primer problema importante radicaba en el grado de protección de los equipos de monitorización anteriores. El entorno de refrigeración por inmersión requería que los sensores permanecieran sumergidos continuamente en refrigerante. Sin embargo, los sensores existentes solo ofrecían protección IP67.

Durante los seis meses de funcionamiento, 17 sensores sufrieron filtraciones de agua y resultaron dañados.

Las fallas repetidas en los sensores pueden generar deficiencias en la monitorización del refrigerante y aumentar la cantidad de mantenimiento necesario en una instalación de gran tamaño. Con cientos de puntos de monitorización distribuidos por toda la infraestructura, la sustitución de dispositivos dañados también puede incrementar la carga de trabajo del personal operativo.

El nuevosensor de calidad del agua de refrigeraciónPor lo tanto, la solución requería una protección más robusta para la inmersión continua.

La calidad de la alimentación eléctrica representó un segundo desafío. El centro de supercomputación experimentó fluctuaciones de voltaje significativas. Los dispositivos de monitoreo convencionales solo admitían un rango de entrada de 12 a 24 VCC. Cuando el voltaje de alimentación se volvía inestable, el funcionamiento de los sensores podía interrumpirse y se podían perder los datos de monitoreo. Las consiguientes lagunas de datos dificultaban que los operadores mantuvieran una visión continua de las condiciones del refrigerante.

Para un sistema de monitorización diseñado para el análisis de tendencias, la continuidad es fundamental. La falta de mediciones puede debilitar el registro de datos utilizado para comprender cómo cambian las condiciones con el tiempo. Por lo tanto, la instalación necesitaba sensores capaces de operar en un rango de voltaje más amplio.

La infraestructura de refrigeración contaba con 300 puntos de monitorización distribuidos en diferentes armarios.

Con el sistema anterior, la gestión centralizada resultaba difícil. El personal de mantenimiento tenía que inspeccionar cada gabinete individualmente, lo que generaba una carga de trabajo operativa considerable. A medida que crece la infraestructura informática, este tipo de supervisión manual se vuelve cada vez más ineficiente.

Por lo tanto, la nueva solución de monitorización debía transmitir la información de los sensores a la plataforma de operaciones y mantenimiento existente del centro, lo que permitiría gestionar de forma centralizada múltiples ubicaciones de monitorización.

El sistema de monitorización existente era principalmente reactivo.

Carecía de capacidades de análisis de tendencias que pudieran ayudar al personal de mantenimiento a anticipar cambios en el pH del refrigerante. Como resultado, los equipos generalmente solo respondían después de que ya se había producido una anomalía o una falla.

Este enfoque limitaba las oportunidades de acción preventiva. Por lo tanto, el centro quería ir más allá del monitoreo básico y desarrollar un sistema capaz de analizar las tendencias del pH y proporcionar alertas tempranas sobre cambios anormales.

Los problemas detectados en las instalaciones generaron varios requisitos claros de supervisión.

En primer lugar, los sensores debían tolerar la inmersión continua. Los dispositivos IP67 anteriores ya habían demostrado que una protección insuficiente podía provocar la entrada de agua y el fallo prematuro del sensor.

En segundo lugar, el equipo de monitorización necesitaba un rango de voltaje de entrada aceptable más amplio. Las fluctuaciones de voltaje eran una característica conocida del entorno eléctrico de la planta, por lo que los sensores debían seguir funcionando cuando cambiaran las condiciones de suministro.

En tercer lugar, la comunicación necesaria para respaldar la gestión centralizada.

Con cientos de puntos de monitoreo distribuidos en diferentes gabinetes, los operadores necesitaban una forma de incorporar la información de monitoreo a la plataforma de operaciones y mantenimiento existente, en lugar de revisar cada gabinete por separado. El sistema también debía ser compatible con una estrategia de mantenimiento más proactiva.

En lugar de limitarse a informar del valor actual del pH, era necesario recopilar datos que permitieran realizar análisis de tendencias para poder identificar cambios inusuales antes de que se convirtieran en problemas más graves.

Por lo tanto, los principales requisitos de monitoreo incluían:

• Inmersión continua y fiable en refrigerante PG25 personalizado.
• Mayor protección contra la entrada de líquidos.
• Mayor tolerancia al voltaje de entrada
• Recopilación centralizada de datos de monitoreo
• Comunicación RS485
• Compatibilidad con el protocolo Modbus-RTU
• análisis de tendencias de pH
• Alerta temprana de cambios anormales en el pH
• Menor dependencia de las inspecciones individuales de gabinetes.

En conjunto, estos requisitos constituyeron la base del nuevo sistema de monitorización de la calidad del refrigerante líquido.

El centro de supercomputación seleccionó el sensor de pH RK500-12, específico para refrigeración líquida, para este proyecto.

Se instalaron un total de 120 sensores en tres fases. Estos se ubicaron en las paredes laterales de los sistemas de refrigeración y se conectaron mediante un bus RS485 a la plataforma de operaciones y mantenimiento existente del centro. Esta arquitectura permitió gestionar de forma centralizada las mediciones de pH de los puntos de monitoreo instalados.

Los sensores RK500-12 ofrecen protección IP68, solucionando los problemas de entrada de agua que presentaban los dispositivos IP67 anteriores. Este nivel de protección permite que los sensores funcionen de forma continua incluso sumergidos en refrigerante.

Los sensores también admitían una entrada de alimentación de amplio rango de 7 a 30 VCC. Este rango de entrada más amplio era especialmente importante debido a las importantes fluctuaciones de voltaje que experimentaba la instalación. Al adaptarse a un rango más amplio de condiciones de alimentación, los sensores podían seguir funcionando donde los dispositivos anteriores de 12 a 24 VCC habían sufrido interrupciones.

La compatibilidad con el protocolo Modbus-RTU aportó otra parte importante de la solución. Permitió integrar los datos de los sensores con la plataforma de operaciones y mantenimiento existente del centro.

Sin embargo, el proyecto fue más allá de la simple instalación del hardware. También se desarrolló un modelo de análisis de tendencias de pH y de alerta temprana utilizando los datos de monitorización. Esto permitió a la instalación analizar los cambios a lo largo del tiempo e identificar anomalías incipientes con mayor antelación.

Los 120 sensores RK500-12 se desplegaron en tres fases, en lugar de mediante una única instalación a gran escala. Los sensores se instalaron en las paredes laterales de los sistemas de refrigeración para permitir la monitorización continua del refrigerante PG25 personalizado. Tras la instalación física, los dispositivos se conectaron mediante un bus RS485.

La comunicación Modbus-RTU permitió que la red de monitorización se integrara con la plataforma de operaciones y mantenimiento existente del centro de supercomputación. Esto creó un entorno de monitorización centralizado para los sensores desplegados.

El amplio rango de entrada de 7 a 30 VCC solucionó la inestabilidad de la alimentación eléctrica que se experimentaba en las instalaciones. En lugar de depender de sensores con el rango anterior más limitado de 12 a 24 VCC, los nuevos dispositivos podían adaptarse a condiciones de alimentación más variables.

La protección IP68 cumplía otro requisito importante para la puesta en marcha: un funcionamiento fiable durante la inmersión continua en refrigerante. Una vez que los datos de monitorización estuvieron disponibles a través de la plataforma central, el proyecto pudo pasar a la siguiente fase: el análisis de tendencias.

Se desarrolló un modelo de análisis de tendencias de pH y alerta temprana para analizar los datos de monitoreo e identificar cambios anormales en el pH. Esto añadió un elemento predictivo a la estrategia de monitoreo y permitió que el equipo de operaciones dejara de reaccionar únicamente cuando surgían los problemas.

El sensor de pH RK500-12, específico para sistemas de refrigeración líquida, constituyó el componente principal del sistema de monitorización.

Para este proyecto, una de sus características más importantes era su grado de protección IP68. Los sensores anteriores, con clasificación IP67, habían sufrido filtraciones de agua durante la inmersión continua, por lo que una mayor protección era esencial para el entorno operativo. El RK500-12 también admitía una entrada de alimentación de 7 a 30 VCC. Esto permitió que el sistema de monitorización se adaptara a las fluctuaciones de voltaje presentes en el centro de supercomputación.

La conectividad RS485 y la compatibilidad con el protocolo Modbus-RTU permitieron que los sensores se comunicaran con la plataforma de operaciones y mantenimiento existente. Como un dispositivo especializadosensor de pH del refrigeranteEl dispositivo proporcionó los datos de pH necesarios para el análisis de tendencias y el modelo de alerta temprana del proyecto.

Si bien este proyecto en particular se centró en el control del pH, los sistemas de refrigeración líquida pueden requerir diferentes mediciones de la calidad del agua dependiendo de la composición química del refrigerante y de los requisitos operativos.

Por ejemplo, se puede considerar un sensor de conductividad para el monitoreo del refrigerante cuando los operadores necesitan observar la conductividad eléctrica como parte de la gestión del refrigerante. Una estrategia más amplia de sensores para la calidad del agua de refrigeración del centro de datos puede combinar el pH con otros parámetros relevantes cuando la aplicación lo requiera.

La combinación de sensores adecuada debe determinarse en función del tipo de refrigerante, el diseño del sistema de refrigeración, los objetivos de monitorización y las condiciones de funcionamiento, en lugar de utilizar la misma configuración para todas las instalaciones de refrigeración líquida.

El proyecto finalizado aportó mejoras cuantificables en la fiabilidad del monitoreo y la gestión del sistema.

Antes del proyecto, 17 sensores IP67 habían sufrido filtraciones de agua y daños en un plazo de seis meses. Tras la instalación de los sensores con protección IP68, la tasa de daños por filtraciones de agua se redujo al 0 %. Los sensores funcionaron de forma continua durante 12 meses sin fallos. El tiempo medio entre fallos alcanzó las 15 000 horas, lo que demuestra una mayor fiabilidad en las condiciones de inmersión continua de la instalación.

Los dispositivos de monitorización anteriores presentaban dificultades debido a las fluctuaciones de voltaje de la instalación. Con el diseño de amplio rango de voltaje de 7 a 30 VCC, se eliminó la pérdida de datos asociada a las condiciones de alimentación inestables. La tasa general de pérdida de datos se redujo del 12 % al 0 %, lo que permitió un registro de monitorización más continuo y un análisis más fiable de las tendencias de pH.

La conexión de los sensores a la plataforma de operaciones y mantenimiento mediante un bus RS485 resolvió la dificultad de gestionar puntos de monitorización distribuidos. En lugar de depender de inspecciones individuales de los gabinetes para la observación rutinaria, la información de los sensores se pudo integrar en la plataforma central del centro. Esto proporcionó una base más práctica para la gestión de la monitorización del refrigerante en toda la infraestructura de supercomputación.

El modelo de análisis de tendencias y alerta temprana introdujo una capacidad predictiva de la que carecía el sistema anterior. Según los resultados del proyecto, el modelo podía predecir cambios anormales de pH con hasta siete días de antelación. Esto permitió que la estrategia de mantenimiento pasara de una respuesta reactiva a una prevención proactiva. En lugar de esperar a que se produjera una anomalía o fallo, el personal podía utilizar la información de tendencias para identificar posibles cambios de pH con antelación y planificar las medidas adecuadas.

La combinación de una mayor fiabilidad de los sensores, la eliminación de la pérdida de datos relacionada con la alimentación y la monitorización predictiva del pH contribuyeron a mejorar la disponibilidad del sistema. Tras su implementación, la disponibilidad del sistema de supercomputación alcanzó el 99,995 %. Para una infraestructura que ofrece 10 EFLOPS de potencia de cálculo, la monitorización fiable respalda el objetivo más amplio de mantener operaciones informáticas estables y de alta disponibilidad.

Este proyecto de centro de supercomputación demuestra cómo los requisitos para unsensor de calidad del agua de refrigeración líquidapueden cambiar cuando los equipos de monitorización deben funcionar de forma continua dentro de un entorno de refrigeración por inmersión.

El sistema de monitorización anterior adolecía de tres limitaciones fundamentales: protección insuficiente contra la inmersión continua, sensibilidad a las fluctuaciones del suministro eléctrico y gestión centralizada limitada. Además, ofrecía poca capacidad para predecir cambios en las condiciones del refrigerante.

La implementación de 120 sensores de pH RK500-12 específicos para refrigeración líquida permitió abordar estos desafíos mediante la protección IP68, un rango de entrada de 7 a 30 VCC, conectividad RS485 e integración Modbus-RTU.

Los resultados fueron cuantificables. Los daños por filtraciones de agua se redujeron al 0%, se eliminó la pérdida de datos relacionada con la alimentación eléctrica, la tasa general de pérdida de datos disminuyó del 12% al 0%, y el MTBF alcanzó las 15.000 horas.

Lo más importante es que el modelo de análisis de tendencias de pH y alerta temprana podía identificar cambios anormales de pH con hasta siete días de antelación. Esto permitió al centro pasar de reaccionar ante anomalías en el refrigerante una vez que se producían a un enfoque de monitorización más proactivo.

Para los centros de supercomputación y otras instalaciones informáticas de alta densidad, es fundamental contar con sistemas eficaces.control de la calidad del refrigerante líquidoPor lo tanto, no se limita a recopilar mediciones individuales. Sensores fiables, una protección ambiental adecuada, una comunicación estable, una gestión centralizada de datos y un análisis de tendencias pueden trabajar conjuntamente para ofrecer un enfoque más completo para la gestión de las condiciones del refrigerante en sistemas de refrigeración líquida exigentes.