Com a expansão contínua da computação de IA, os centros de dados estão implantando infraestruturas de GPUs cada vez mais densas, que geram quantidades significativas de calor. O resfriamento líquido por placa fria oferece uma maneira eficaz de remover esse calor, mas o próprio circuito de resfriamento requer monitoramento cuidadoso. A baixa qualidade do fluido refrigerante pode contribuir para corrosão, depósitos e obstruções, afetando potencialmente o desempenho do resfriamento e a confiabilidade do equipamento.
Para um provedor de nuvem de IA do Vale do Silício que opera 3.200 gabinetes de GPUs , a Rika Sensor implementou uma solução de monitoramento da qualidade da água de refrigeração líquida, projetada para fornecer visibilidade contínua dos principais parâmetros do fluido refrigerante. O projeto atendeu a um requisito de SLA de 99,99% e integrou os dados de monitoramento à infraestrutura DCIM existente do data center.
A solução combinou medições de pH, condutividade, ORP e turbidez para ajudar o operador a identificar alterações na qualidade do fluido refrigerante antes que elas pudessem se transformar em problemas operacionais mais sérios.
Contexto do projeto
O centro de dados utiliza um sistema de refrigeração líquida com placa fria para gerenciar o calor gerado pelos gabinetes de GPUs de alta densidade. Ao contrário da refrigeração a ar convencional, os sistemas de placa fria fazem circular o líquido diretamente pelos componentes de refrigeração posicionados próximos ao hardware que gera calor.
Essa abordagem pode proporcionar uma remoção de calor eficiente, mas o líquido refrigerante deve permanecer dentro de condições de qualidade adequadas. Alterações no pH, na condutividade, no potencial de oxidação-redução (ORP) ou na turbidez podem indicar mudanças nas condições do fluido refrigerante ou do circuito de refrigeração.
Com milhares de gabinetes de GPUs operando em um ambiente de alta disponibilidade, o cliente precisava de uma abordagem de monitoramento capaz de suportar a operação contínua, em vez de depender exclusivamente de testes manuais periódicos.
Desafio
O sistema de refrigeração apresentou diversos desafios de monitoramento.
Microcanais estreitos
As placas frias continham microcanais estreitos. Esses pequenos caminhos de fluxo podem ser particularmente vulneráveis à contaminação, depósitos e outros problemas relacionados à qualidade da água. Uma deterioração detectada tardiamente pode afetar a circulação do fluido refrigerante e a transferência de calor.
Amostragem manual semanal
A abordagem existente dependia de amostragem manual semanal. Embora os testes laboratoriais ou portáteis possam fornecer medições úteis, a amostragem em intervalos fixos não oferece visibilidade contínua. Uma alteração ocorrida entre dois períodos de amostragem pode permanecer indetectada por vários dias.
Instalação Distribuída
O terceiro desafio foi a escala física das instalações. O centro de dados continha três salas geograficamente dispersas, o que tornava o monitoramento e o gerenciamento centralizados importantes para a equipe de operações.
Requisito de monitoramento
O cliente necessitava de uma solução de sensor de qualidade da água de refrigeração líquida capaz de monitorar continuamente diversos parâmetros importantes. O sistema de monitoramento incluía:
● Monitoramento de pH
● Monitoramento de condutividade
● Monitoramento de ORP
● Monitoramento da turbidez
Essas medições proporcionaram uma visão mais abrangente da condição do fluido refrigerante do que a análise de um único parâmetro. O sistema também foi projetado como uma solução de sensor de qualidade da água de refrigeração para data centers , capaz de se comunicar com a infraestrutura de monitoramento existente do cliente.
Solução – Implantação e Comissionamento
A Rika Sensor instalou sensores de pH, condutividade, ORP e turbidez em locais estratégicos por todo o sistema de refrigeração. Os sensores são fabricados em aço inoxidável 316L e possuem roscas G3/4, o que os torna adequados para integração na tubulação de refrigeração líquida do cliente.
Os pontos de monitoramento foram posicionados nas entradas e saídas da CDU, bem como nas ramificações da tubulação principal. Isso permitiu ao operador comparar as condições do fluido refrigerante em diferentes estágios do circuito de resfriamento, em vez de depender de medições de um único local.
Para a comunicação do sistema, os sensores transmitiram dados via RS485 utilizando Modbus RTU para a plataforma DCIM existente. Essa abordagem permitiu que as informações sobre a qualidade da água fossem integradas ao ambiente de monitoramento do centro de dados central do cliente.
O projeto foi implementado em duas fases. A Fase I incluiu 42 pontos de monitoramento, enquanto a Fase II expandiu a implantação para 128 pontos, à medida que os requisitos de monitoramento aumentavam.
Durante o comissionamento, a equipe de engenharia identificou um problema envolvendo bolsas de ar em trechos da tubulação. Essas bolsas de ar causavam flutuações nas leituras dos sensores. Em vez de tratar as leituras instáveis como uma falha do sensor, o arranjo da instalação foi revisado. Os sensores afetados foram realocados e válvulas de ventilação adicionais foram instaladas para ajudar a remover o ar aprisionado e estabilizar as condições de medição.
Produtos avaliados
O sistema de monitoramento pode incorporar sensores dedicados para diferentes parâmetros de resfriamento líquido, incluindo o sensor de condutividade/EC para resfriamento líquido da Rika Sensor, o sensor de pH para resfriamento líquido , o sensor de ORP para resfriamento líquido e o sensor de turbidez para resfriamento líquido .
Esses produtos oferecem recursos de medição específicos para o monitoramento da qualidade do líquido refrigerante, permitindo que os operadores criem um sistema de monitoramento de acordo com as necessidades de sua infraestrutura de refrigeração.
Resultados
Após o comissionamento e a entrada em operação, o cliente obteve visibilidade contínua dos principais parâmetros de qualidade do fluido refrigerante em toda a rede de refrigeração. A cobertura de monitoramento ampliada também facilitou o gerenciamento das informações sobre a qualidade da água nas três salas do data center geograficamente separadas.
Uma melhoria prática foi a redução na frequência de amostragem manual. Em vez de coletar amostras semanalmente, o cliente reduziu a amostragem manual para mensal, mantendo o monitoramento online contínuo entre os intervalos de amostragem.
O projeto demonstra como um sistema dedicado de sensores de qualidade da água de refrigeração pode complementar a infraestrutura DCIM existente em grandes centros de dados de IA. Ao monitorar continuamente o pH, a condutividade, o ORP e a turbidez, os operadores podem identificar alterações na qualidade da água mais cedo, apoiar a manutenção preventiva e melhorar a visibilidade em redes complexas de refrigeração líquida.
Para infraestruturas de IA de alta densidade, onde a confiabilidade do resfriamento impacta diretamente a disponibilidade computacional, o monitoramento contínuo da qualidade da água pelas unidades de refrigeração fornece uma importante camada de controle operacional e manutenção baseada em dados.
