A medida que la computación de IA continúa expandiéndose, los centros de datos están implementando infraestructuras de GPU cada vez más densas que generan cantidades significativas de calor. La refrigeración líquida con placas frías proporciona una forma eficaz de disipar este calor, pero el circuito de refrigeración en sí requiere una supervisión cuidadosa. Una mala calidad del refrigerante puede contribuir a la corrosión, la formación de depósitos y la obstrucción, lo que podría afectar el rendimiento de la refrigeración y la fiabilidad de los equipos.
Para un proveedor de servicios en la nube de IA de Silicon Valley que opera 3200 gabinetes de GPU , Rika Sensor implementó una solución de monitoreo de la calidad del agua de refrigeración líquida diseñada para brindar visibilidad continua de los parámetros clave del refrigerante. El proyecto cumplió con un requisito de SLA del 99,99 % e integró los datos de monitoreo con la infraestructura DCIM existente del centro de datos.
La solución combinaba la medición del pH, la conductividad, el potencial redox (ORP) y la turbidez para ayudar al operador a identificar cambios en la calidad del refrigerante antes de que pudieran convertirse en problemas operativos más graves.
Antecedentes del proyecto
El centro de datos utiliza un sistema de refrigeración líquida con placas frías para gestionar el calor generado por los gabinetes de GPU de alta densidad. A diferencia de la refrigeración por aire convencional, los sistemas de placas frías hacen circular el líquido directamente a través de los componentes de refrigeración ubicados cerca del hardware que genera calor.
Este método permite una disipación de calor eficiente, pero el líquido refrigerante debe mantener una calidad adecuada. Las variaciones en el pH, la conductividad, el potencial de oxidación-reducción (ORP) o la turbidez pueden indicar cambios en el estado del refrigerante o del circuito de refrigeración.
Con miles de gabinetes de GPU operando en un entorno de alta disponibilidad, el cliente requería un método de monitorización capaz de soportar el funcionamiento continuo en lugar de depender únicamente de pruebas manuales periódicas.
Desafío
El sistema de refrigeración presentaba varios desafíos de monitorización.
Microcanales estrechos
Las placas frías contenían microcanales estrechos. Estos pequeños conductos de flujo pueden ser particularmente vulnerables a la contaminación, los depósitos y otros problemas relacionados con la calidad del agua. Un deterioro detectado demasiado tarde puede afectar la circulación del refrigerante y la transferencia de calor.
Muestreo manual semanal
El método anterior se basaba en el muestreo manual semanal. Si bien las pruebas de laboratorio o portátiles pueden proporcionar mediciones útiles, el muestreo a intervalos fijos no ofrece una visibilidad continua. Un cambio que se produzca entre dos periodos de muestreo podría pasar desapercibido durante varios días.
Instalación distribuida
El tercer desafío fue la magnitud física de las instalaciones. El centro de datos contaba con tres salas de servidores geográficamente dispersas, lo que hacía que la monitorización y la gestión centralizadas fueran fundamentales para el equipo de operaciones.
Requisito de monitoreo
El cliente requería una solución de sensor de calidad del agua de refrigeración líquida capaz de monitorizar continuamente varios parámetros importantes. El sistema de monitorización incluía:
● Monitorización del pH
● Monitoreo de la conductividad
● Monitoreo de ORP
● Monitoreo de la turbidez
Estas mediciones proporcionaron una visión más completa del estado del refrigerante que la que se obtendría basándose en un solo parámetro. El sistema también se diseñó como una solución de sensor de calidad del agua de refrigeración para centros de datos, capaz de comunicarse con la infraestructura de monitorización existente del cliente.
Solución: Despliegue y puesta en marcha
Rika Sensor instaló sensores de pH, conductividad, ORP y turbidez en ubicaciones estratégicas a lo largo del sistema de refrigeración. Los sensores están fabricados en acero inoxidable 316L y cuentan con roscas G3/4, lo que facilita su integración en el sistema de tuberías de refrigeración líquida del cliente.
Se instalaron puntos de monitoreo en las entradas y salidas de la unidad de distribución de refrigerante, así como en las ramificaciones de la tubería principal. Esto permitió al operador comparar las condiciones del refrigerante en diferentes etapas del circuito de refrigeración, en lugar de depender de mediciones de un solo punto.
Para la comunicación del sistema, los sensores transmitieron datos a través de RS485 mediante Modbus RTU a la plataforma DCIM existente. Este enfoque permitió integrar la información sobre la calidad del agua en el entorno de monitorización del centro de datos central del cliente.
El proyecto se implementó en dos fases. La fase I incluyó 42 puntos de monitoreo, mientras que la fase II amplió el despliegue a 128 puntos a medida que aumentaban los requisitos de monitoreo.
Durante la puesta en marcha, el equipo de ingeniería identificó un problema relacionado con burbujas de aire en algunas secciones de la tubería. Estas burbujas provocaban fluctuaciones en las lecturas de los sensores. En lugar de considerar las lecturas inestables como un fallo del sensor, se revisó la instalación. Se reubicaron los sensores afectados y se instalaron válvulas de ventilación adicionales para eliminar el aire atrapado y estabilizar las condiciones de medición.
Productos calificados
El sistema de monitorización puede incorporar sensores específicos para diferentes parámetros de refrigeración líquida, incluidos el sensor de conductividad/EC de refrigeración líquida de Rika Sensor, el sensor de pH de refrigeración líquida , el sensor de ORP de refrigeración líquida y el sensor de turbidez de refrigeración líquida .
Estos productos proporcionan capacidades de medición específicas para el control de la calidad del refrigerante líquido, lo que permite a los operadores crear un sistema de monitorización de acuerdo con los requisitos de su infraestructura de refrigeración.
Resultados
Tras la puesta en marcha, el cliente obtuvo visibilidad continua de los parámetros clave de calidad del refrigerante en toda la red de refrigeración. La mayor cobertura de monitorización también facilitó la gestión de la información sobre la calidad del agua en las tres salas del centro de datos, geográficamente separadas.
Una mejora práctica fue la reducción de la frecuencia de muestreo manual. En lugar de recolectar muestras semanalmente, el cliente redujo el muestreo manual a mensual, manteniendo al mismo tiempo un monitoreo continuo en línea entre los intervalos de muestreo.
El proyecto demuestra cómo un sistema de sensores dedicado para la calidad del agua de refrigeración puede complementar la infraestructura DCIM existente en centros de datos de IA a gran escala. Mediante el monitoreo continuo del pH, la conductividad, el potencial redox (ORP) y la turbidez, los operadores pueden identificar cambios en la calidad del agua con mayor antelación, respaldar el mantenimiento preventivo y mejorar la visibilidad en redes de refrigeración líquida complejas.
En infraestructuras de IA de alta densidad, donde la fiabilidad de la refrigeración respalda directamente la disponibilidad de la computación, la monitorización continua de la calidad del agua mediante sensores en las unidades de tratamiento de aguas residuales proporciona una capa importante de control operativo y mantenimiento basado en datos.
