Projeto de monitoramento de clusters de resfriamento líquido em um centro de supercomputação

Os centros de supercomputação combinam um desempenho computacional extremamente alto com elevadas cargas térmicas. Manter temperaturas operacionais adequadas é, portanto, essencial para garantir a disponibilidade dos nós de computação.

O centro de supercomputação deste projeto oferece 10 EFLOPS de poder computacional e opera 300 nós de computação com refrigeração líquida. Em vez de depender exclusivamente da refrigeração a ar convencional, a instalação utiliza tecnologia de refrigeração líquida totalmente imersiva com fluido refrigerante PG25 personalizado.

Em um ambiente de imersão, os requisitos impostos aos equipamentos de monitoramento podem ser particularmente exigentes. Os componentes podem permanecer continuamente expostos ao fluido refrigerante, portanto, a proteção contra a entrada de líquidos e a operação confiável a longo prazo tornam-se considerações críticas. Ao mesmo tempo, a condição do fluido refrigerante precisa ser monitorada.

A sensor de qualidade da água de refrigeração líquidaPode fornecer informações sobre parâmetros selecionados do fluido refrigerante e ajudar os operadores a identificar alterações que possam exigir atenção. O monitoramento do pH, por exemplo, pode ser usado para observar mudanças na acidez ou alcalinidade do fluido refrigerante.

No entanto, para uma instalação com centenas de pontos de monitoramento, coletar medições individuais não é suficiente. Os dados também precisam chegar a uma plataforma central onde os operadores possam observar as condições em toda a infraestrutura de refrigeração. Portanto, o projeto exigia uma solução de monitoramento que combinasse durabilidade física, capacidade de comunicação e monitoramento preditivo.

O primeiro grande problema envolvia o grau de proteção dos equipamentos de monitoramento anteriores. O ambiente de resfriamento por imersão exigia que os sensores permanecessem continuamente submersos em líquido refrigerante. No entanto, os sensores existentes ofereciam apenas proteção IP67.

Ao longo de seis meses de funcionamento, 17 sensores sofreram infiltração de água e foram danificados.

Falhas repetidas nos sensores podem criar lacunas no monitoramento do fluido refrigerante e aumentar a quantidade de manutenção necessária em uma grande instalação. Com centenas de pontos de monitoramento distribuídos por toda a infraestrutura, a substituição de dispositivos danificados também pode aumentar a carga de trabalho da equipe de operações.

O novosensor de qualidade da água de refrigeraçãoA solução, portanto, necessitava de uma proteção mais robusta para imersão contínua.

A qualidade da energia representou um segundo desafio. O centro de supercomputação sofreu flutuações significativas de tensão. Os dispositivos de monitoramento convencionais suportavam apenas uma faixa de entrada de 12 a 24 VCC. Quando a tensão de alimentação se tornava instável, a operação dos sensores podia ser interrompida e os dados de monitoramento podiam ser perdidos. As lacunas de dados resultantes dificultavam a manutenção de uma visão contínua das condições do fluido refrigerante pelos operadores.

Para um sistema de monitoramento que visa auxiliar na análise de tendências, a continuidade é especialmente importante. Medições faltantes podem comprometer o registro de dados usado para entender como as condições mudam ao longo do tempo. Portanto, a instalação precisava de sensores capazes de operar em uma faixa de tensão mais ampla.

A infraestrutura de refrigeração continha 300 pontos de monitoramento distribuídos em diferentes gabinetes.

No modelo anterior, a gestão centralizada era difícil. A equipe de manutenção precisava inspecionar cada gabinete individualmente, o que gerava uma carga de trabalho operacional considerável. Com o crescimento da infraestrutura de computação, esse tipo de monitoramento manual torna-se cada vez mais ineficiente.

A nova solução de monitoramento precisava, portanto, transmitir informações dos sensores para a plataforma de operações e manutenção existente do centro, permitindo o gerenciamento centralizado de vários locais de monitoramento.

O sistema de monitoramento existente era principalmente reativo.

O sistema carecia de recursos de análise de tendências que pudessem ajudar a equipe de manutenção a antecipar mudanças no pH do líquido refrigerante. Como resultado, as equipes geralmente respondiam somente após a ocorrência de uma anormalidade ou falha.

Essa abordagem limitava as oportunidades de ação preventiva. O centro, portanto, queria ir além do monitoramento básico e desenvolver um sistema capaz de analisar as tendências do pH e fornecer um alerta precoce de alterações anormais.

Os desafios identificados nas instalações criaram vários requisitos claros de monitoramento.

Em primeiro lugar, os sensores precisavam tolerar imersão contínua. Os dispositivos IP67 anteriores já haviam demonstrado que a proteção insuficiente poderia resultar na entrada de água e na falha prematura dos sensores.

Em segundo lugar, o equipamento de monitoramento precisava de uma faixa de tensão de entrada aceitável mais ampla. As flutuações de tensão eram uma característica conhecida do ambiente elétrico do local, portanto, os sensores precisavam continuar operando quando as condições de fornecimento mudassem.

Em terceiro lugar, era necessária comunicação para dar suporte à gestão centralizada.

Com centenas de pontos de monitoramento distribuídos em diferentes armários, os operadores precisavam de uma maneira de integrar as informações de monitoramento à plataforma de operações e manutenção existente, em vez de verificar cada armário separadamente. O sistema também precisava suportar uma estratégia de manutenção mais proativa.

Em vez de simplesmente relatar o valor atual do pH, os dados coletados precisavam dar suporte à análise de tendências, para que alterações incomuns pudessem ser identificadas antes que se transformassem em problemas mais sérios.

Os principais requisitos de monitoramento incluíam, portanto:

• Imersão contínua e confiável em fluido refrigerante PG25 personalizado.
• Proteção aprimorada contra a entrada de líquidos
• Maior tolerância à tensão de entrada
• Coleta centralizada de dados de monitoramento
• Comunicação RS485
• Compatibilidade com o protocolo Modbus-RTU
• análise de tendência de pH
• Alerta precoce de alterações anormais no pH.
• Redução da dependência de inspeções individuais por gabinete.

Em conjunto, esses requisitos formaram a base do novo sistema de monitoramento da qualidade do líquido refrigerante.

O centro de supercomputação selecionou o sensor de pH RK500-12, específico para refrigeração líquida, para o projeto.

Um total de 120 sensores foram implantados em três fases. Os sensores foram instalados nas paredes laterais dos sistemas de refrigeração e conectados por meio de um barramento RS485 à plataforma de operações e manutenção existente do centro. Essa arquitetura permitiu o gerenciamento centralizado das medições de pH dos locais de monitoramento instalados.

Os sensores RK500-12 oferecem proteção IP68, resolvendo os problemas de entrada de água que existiam nos dispositivos IP67 anteriores. Esse nível de proteção permite que os sensores operem continuamente enquanto imersos em líquido refrigerante.

Os sensores também suportavam uma ampla faixa de tensão de entrada de 7 a 30 VCC. Essa faixa de entrada mais ampla foi particularmente importante porque a instalação sofria flutuações de tensão substanciais. Ao acomodar uma gama mais ampla de condições de alimentação, os sensores puderam manter a operação onde os dispositivos anteriores de 12 a 24 VCC apresentavam interrupções.

O suporte ao protocolo Modbus-RTU representou outra parte importante da solução. Ele permitiu que os dados dos sensores fossem integrados à plataforma de operações e manutenção já existente no centro.

No entanto, o projeto foi além da implantação de hardware. Um modelo de análise de tendência de pH e alerta precoce também foi desenvolvido usando os dados de monitoramento. Isso permitiu que a instalação analisasse mudanças ao longo do tempo e identificasse anormalidades em desenvolvimento mais cedo.

Os 120 sensores RK500-12 foram instalados em três fases, em vez de uma única instalação em larga escala. Os sensores foram instalados nas paredes laterais dos sistemas de refrigeração para permitir o monitoramento contínuo do fluido refrigerante PG25 personalizado. Após a instalação física, os dispositivos foram conectados por meio de um barramento RS485.

A comunicação Modbus-RTU permitiu que a rede de monitoramento interagisse com a plataforma de operações e manutenção existente no centro de supercomputação. Isso criou um ambiente de monitoramento centralizado para os sensores implantados.

A ampla faixa de entrada de 7 a 30 VCC resolveu o problema da instabilidade de energia experimentada nas instalações. Em vez de depender de sensores com a faixa mais estreita de 12 a 24 VCC utilizada anteriormente, os novos dispositivos puderam lidar com condições de energia mais variáveis.

A proteção IP68 atendeu a outro requisito importante de comissionamento: operação confiável durante imersão contínua em fluido refrigerante. Assim que os dados de monitoramento ficaram disponíveis por meio da plataforma central, o projeto pôde avançar para a próxima etapa: análise de tendências.

Um modelo de análise de tendência de pH e alerta precoce foi desenvolvido para analisar dados de monitoramento e identificar alterações anormais de pH. Isso adicionou um elemento preditivo à estratégia de monitoramento e permitiu que a equipe de operações deixasse de responder somente após o surgimento de problemas.

O sensor de pH RK500-12, específico para refrigeração líquida, constituiu o núcleo da implementação do sistema de monitoramento.

Para este projeto, uma das características mais importantes era a classificação de proteção IP68. Os sensores IP67 anteriores apresentavam infiltração de água durante imersão contínua, portanto, uma proteção aprimorada era essencial para o ambiente operacional. O RK500-12 também suportava entrada de energia de 7 a 30 VCC. Isso ajudou o sistema de monitoramento a lidar com as flutuações de tensão presentes no centro de supercomputação.

A conectividade RS485 e o suporte ao protocolo Modbus-RTU permitiram que os sensores se comunicassem com a plataforma de operações e manutenção existente. Como um sistema especializadosensor de pH do líquido de arrefecimentoO dispositivo forneceu os dados de pH necessários para a análise de tendências e o modelo de alerta precoce do projeto.

Embora este projeto específico tenha se concentrado no monitoramento do pH, os sistemas de refrigeração líquida podem exigir diferentes medições da qualidade da água, dependendo da composição química do fluido refrigerante e dos requisitos operacionais.

Por exemplo, um sensor de condutividade para monitoramento do fluido refrigerante pode ser considerado quando os operadores precisam observar a condutividade elétrica como parte do gerenciamento do fluido refrigerante. Uma estratégia mais abrangente de sensores de qualidade da água de refrigeração para data centers pode combinar o pH com outros parâmetros relevantes, quando exigido pela aplicação.

A combinação adequada de sensores deve ser determinada pelo tipo de fluido refrigerante, projeto do sistema de refrigeração, objetivos de monitoramento e condições de operação, em vez de usar a mesma configuração para todas as instalações de refrigeração líquida.

O projeto concluído proporcionou melhorias mensuráveis ​​na confiabilidade do monitoramento e na gestão do sistema.

Antes do projeto, 17 sensores com classificação IP67 sofreram infiltração de água e danos em um período de seis meses. Após a implantação dos sensores com proteção IP68, a taxa de danos por infiltração de água caiu para 0%. Os sensores operaram continuamente por 12 meses sem falhas. O Tempo Médio Entre Falhas (MTBF) atingiu 15.000 horas, demonstrando maior confiabilidade sob as condições de imersão contínua da instalação.

Os dispositivos de monitoramento anteriores apresentavam dificuldades com as flutuações de tensão das instalações. Com o design de ampla faixa de tensão de 7 a 30 VCC, a perda de dados associada a condições de energia instáveis ​​foi eliminada. A taxa geral de perda de dados diminuiu de 12% para 0%. Isso proporcionou um registro de monitoramento mais contínuo e permitiu uma análise mais confiável das tendências de pH.

A conexão dos sensores à plataforma de operações e manutenção por meio de um barramento RS485 resolveu a dificuldade de gerenciar pontos de monitoramento distribuídos. Em vez de depender de inspeções individuais de gabinetes para observações de rotina, as informações dos sensores puderam ser integradas à plataforma central do centro. Isso proporcionou uma base mais prática para o gerenciamento do monitoramento do fluido refrigerante em toda a infraestrutura de supercomputação.

O modelo de análise de tendências e alerta precoce introduziu uma capacidade preditiva que estava ausente no sistema anterior. De acordo com os resultados do projeto fornecidos, o modelo conseguiu prever alterações anormais de pH com até sete dias de antecedência. Isso permitiu que a estratégia de manutenção passasse de uma resposta reativa para uma prevenção proativa. Em vez de esperar até que uma condição anormal ou falha já tivesse se desenvolvido, a equipe pôde usar as informações de tendências para identificar potenciais alterações de pH mais cedo e planejar as ações apropriadas.

A combinação de maior confiabilidade dos sensores, eliminação da perda de dados relacionada à energia e monitoramento preditivo de pH contribuiu para o aumento da disponibilidade do sistema. Após a implementação, a disponibilidade do sistema de supercomputação atingiu 99,995%. Para uma infraestrutura que oferece 10 EFLOPS de poder computacional, o monitoramento confiável apoia o objetivo mais amplo de manter operações de computação estáveis ​​e altamente disponíveis.

Este projeto de centro de supercomputação demonstra como os requisitos para umsensor de qualidade da água de refrigeração líquidapode mudar quando o equipamento de monitoramento precisa operar continuamente em um ambiente de resfriamento imersivo.

O sistema de monitoramento anterior apresentava três limitações fundamentais: proteção insuficiente contra imersão contínua, sensibilidade a flutuações na fonte de alimentação e gerenciamento centralizado limitado. Além disso, oferecia pouca capacidade de prever mudanças nas condições do fluido refrigerante.

A implantação de 120 sensores de pH RK500-12 específicos para refrigeração líquida resolveu esses desafios por meio da proteção IP68, uma faixa de entrada de 7 a 30 VCC, conectividade RS485 e integração Modbus-RTU.

Os resultados foram mensuráveis. Os danos causados ​​por infiltração de água caíram para 0%, a perda de dados relacionada à energia foi eliminada, a taxa geral de perda de dados caiu de 12% para 0% e o MTBF atingiu 15.000 horas.

Mais importante ainda, o modelo de análise de tendência de pH e alerta precoce conseguiu identificar alterações anormais de pH com até sete dias de antecedência. Isso permitiu que o centro passasse de uma abordagem de resposta a anormalidades no fluido refrigerante após sua ocorrência para uma abordagem de monitoramento mais proativa.

Para centros de supercomputação e outras instalações de computação de alta densidade, é necessário um nível de eficiência eficaz.monitoramento da qualidade do líquido refrigerantePortanto, não se limita à coleta de medições individuais. Sensores confiáveis, proteção ambiental adequada, comunicação estável, gerenciamento centralizado de dados e análise de tendências podem trabalhar em conjunto para fornecer uma abordagem mais completa para o gerenciamento das condições do fluido refrigerante em sistemas de refrigeração líquida exigentes.