O boom da IA derrubou o setor de data centers, forçando uma rápida mudança para racks refrigerados a líquido, à medida que as instalações mudam de racks abaixo de 10 kW para racks de 120 kW.

Essa mudança dramática por si só causou uma profunda disrupção em um setor que historicamente se moveu em um ritmo cauteloso, mas na semana passada, em sua conferência de desenvolvedores GTC, a Nvidia traçou um caminho para uma meta ainda mais ambiciosa: racks de 600 kW até o final de 2027.

"A razão pela qual comunicamos ao mundo qual é o próximo roteiro de três ou quatro anos da Nvidia é que todos os outros podem planejar", disse Huang à DCD.

"Somos a primeira empresa de tecnologia da história que anunciou quatro gerações de algo. É como se alguém dissesse 'Vou anunciar meus próximos quatro telefones', não faz sentido. Mas somos uma empresa de infraestrutura, somos uma fábrica para o mundo e somos fundamentais para muitas empresas".

GTC: Revelado o roteiro da Nvidia

A primeira nova geração de GPU é a Blackwell Ultra, que será lançada ainda esse ano. Embora consuma mais por chip do que a Blackwell, não se espera que o DGX GB300 NVL72 consuma mais energia do que seu ancestral GB200, explica o chefe da DGX, Charlie Boyle.

"Embora o GB300 tenha ficado mais rápido, otimizamos o chip e fizemos algumas coisas interessantes no resfriamento", diz ele.

A olho nu, a Nvidia GB300 NVL72 não parece muito diferente da GB200. "Você só pode dizer a diferença quando vai atrás do rack", diz Boyle.

"Um dos racks é na verdade um barramento. E assim, pela primeira vez, temos um shell de energia no nível do data center que pode alimentar todo o rack, basta deslizar os DGXs para lá".

Paralelamente, a empresa aumentou o número e o tamanho dos capacitores para suavizar os fluxos de energia. "Queremos que o subsistema de energia no servidor absorva o choque. Não queremos enviar isso de volta para o data center. Quando você o envia de volta ao data center, todo tipo de coisa começa a acontecer", acrescenta Boyle.

Tradicionalmente, os operadores de data center tiveram que criar energia de buffer para picos potenciais. "Dependendo de quão conservador ou até o limite você é, muitos clientes estão construindo 1,3 ou 1,5 vezes a potência do rack", explica Boyle.

"Isso é poder desperdiçado, poder encalhado. Mas como a energia é a coisa mais importante no data center, quero usar todos os watts possíveis. E assim, com os novos sistemas de energia em nossos projetos B300, e continuando em nossos projetos GB, você não precisa provisionar energia de data center em excesso para executar essas coisas na capacidade máxima, mesmo quando você atinge esses picos".

Isso deve significar que os racks GB300 serão tão fáceis de implementar quanto os 200, embora muitos operadores de data center estejam lutando para atender aos requisitos de densidade em escala desses sistemas.

E as coisas só continuam a aumentar a partir daí. No segundo semestre de 2026, a Nvidia promete entregar o Vera Rubin NVL144, com um novo chip Arm e uma nova GPU. A empresa ainda não divulgou quanta energia espera que o rack consuma, mas provavelmente será maior, com Boyle afirmando que "haverá muitas etapas intermediárias" entre a escala de 120 kW e 600 kW. "Temos que atender nossos clientes onde eles estão hoje."

Vale a pena notar que, com esta primeira geração do Vera Rubin, a Nvidia mudou sua nomenclatura para esses racks.

No DGX GB300 NVL72, o número denotava as 72 GPUs no rack. A partir de Rubin, ele mostrará o número de GPUs do tamanho de um retículo. Tanto a Blackwell quanto a Rubin são compostas por duas GPUs do tamanho de um retículo, e é por isso que o número dobrou para 144, mas, na realidade, o número de GPUs é o mesmo em ambas as gerações.

Isso nos leva ao Rubin Ultra NVL576 no segundo semestre de 2027. Cada Rubin Ultra tem quatro GPUs do tamanho de retículo, o que significa um total de 144 GPUs de maior pegada. Da mesma forma, espera-se que o número de novas CPUs Arm aumente - embora a Nvidia ainda não tenha confirmado quanto.

Apresentando o Kyber

Tudo isso leva o rack 'Kyber' a 600kW, além dos limites da grande maioria dos data centers hoje, especialmente se os racks forem implementados em escala.

Embora grande parte do sistema ainda possa mudar nos próximos anos, alguns fatos são conhecidos. "GB200 e 300 são como 90% mais de refrigeração líquida", diz Boyle. "Mas ainda há alguns ventiladores, há componentes que não são placas frias. O design do rack Kyber é 100% de refrigeração líquida, sem ventiladores".

O Kyber também usa lâminas de computação, servidores menores que são verticais, para empacotar mais computação e rede no rack.

Crucialmente, o Kyber também inclui um sidecar do tamanho de um rack para lidar com energia e resfriamento. Portanto, embora seja um rack de 600kW, requer dois racks de pegada física, pelo menos na versão atual mostrada pela Nvidia.

Os racks da Blackwell também exigem infraestrutura de energia e resfriamento em racks de data center, mas um desses sistemas pode suportar muitos racks GB200 - portanto, cada rack de 120 kW requer apenas um rack e um bit de pegada física.

Claro, o rápido salto na densidade em apenas alguns anos levanta a questão de até onde ele pode ir. Nos últimos 18 meses, a empresa tem conversado com sua rede de suprimentos sobre a construção de racks de 1 MW. Na GTC, surgiram rumores de planos para dobrar a densidade do NVL576.

Ir além do nível do rack MW, caso aconteça, não será fácil. Na edição 56 da DCD Magazine (lançada essa semana), o CEO da Vertiv, Giordano Albertazzi, explica que outro salto na densidade exigirá "uma nova revolução no resfriamento líquido e uma mudança de paradigma no lado da energia.

"Tensões mais altas, diferentes tipos de infraestrutura de energia, todas as coisas que ainda são dinâmicas", diz Albertazzi.

Ele continua: "É inegável que a densidade continuará a aumentar. Chegaremos a 1MW exatamente? Eu não sei, mas a densidade definitivamente aumentará cada vez mais porque a computação será muito mais eficiente quando isso acontecer”.

"Terá uma pegada um pouco maior, mas não será enorme. Não terá a pegada de 10 racks. Certamente, será muito mais robusto, simplesmente porque o peso será em escalas totalmente diferentes. Mas o conceito não seria estranho ao que pensamos hoje”.

Desafios de escala de data center

De volta ao GTC, a Nvidia levou mais de cem executivos do setor de data center ao campus para discutir os desafios de implementar racks cada vez mais densos.

"Eu queria ter certeza de falar com a DCD, porque nos tornamos uma empresa de infraestrutura", disse o chefe do data center da Nvidia, Ian Buck. "Não estamos mais falando de fichas. Estamos falando em escala de data center".

Ele espera que o aumento da transparência sobre os planos da gigante da GPU ajude a evitar o pior. "O NVL72 meio que apareceu e tem sido uma luta para fazer com que os data centers do mundo sejam capazes de suportar racks de 120 kW e mover o mundo para o resfriamento líquido tão rápido nessa escala".

Ao abrir o capital, permite que fornecedores em potencial "tenham a coragem de investir na construção de coisas que normalmente fariam apenas em um supercomputador único e sob medida como um projeto de pesquisa e desenvolvimento", explica Buck.

"Está ficando um pouco mais fácil agora que lançamos o NVL72 para ver o futuro, mas é muito importante que eles entendam nosso roteiro para que saibam que constroem a próxima geração. Até mesmo a taxa de fluxo em torno de um tubo de curva é importante. Há abrasão, precisamos projetar o tipo certo de tubo de uma forma que possamos dimensioná-lo para milhões de GPUs, para que estejamos construindo a coisa certa".

Conseguir construir algo que possa existir fora de um laboratório de pesquisa é fundamental, diz Buck. "É difícil saber onde está o limite. Eu vim de um mundo de supercomputação: lá, um possível gabinete de megawatts não é inédito. É bastante concebível; essas pessoas não vacilam. A tecnologia está lá. A parte difícil é: você pode fazer isso em grande escala?”.

"Você pode fazer isso nessa escala de não construir uma nave espacial, um carro de Fórmula 1, mas construir todos os carros do mundo assim? Essa é a questão. Podemos obter uma rede de suprimentos [para nos ajudar a fazer isso]?".

É claro que, em algum momento, seja devido a restrições de resfriamento ou energia, o setor de data center pode não ser capaz de suportar racks mais densos.

Jensen Huang não vê um limite em breve. Ele se esquivou da pergunta da DCD sobre onde estava o limite de curto prazo nas densidades de rack, sugerindo que não havia um fim real à vista.

"Bem, um data center agora tem 250 MW; esse é o limite por rack", disse Huang à DCD. "Acho que o resto são apenas detalhes. E então, se você dissesse que os data centers são um gigawatt, eu diria que um rack de gigawatts parece correto.

Ele continuou: "Claro, o resto é engenharia e praticidade. Não é necessário colocar tudo em um rack".

O núcleo da busca da Nvidia por uma densidade cada vez maior é o desejo de obter o maior número possível de GPUs em uma única malha, neste caso, o link de comunicação NVLink proprietário da empresa.

"A sobrecarga da rede, o protocolo de comunicação, é de nível extremamente baixo", disse Huang. "Isso significa que todas as GPUs podem trabalhar juntas como uma. Na verdade, eles falam uns com os outros como se estivessem abordando as memórias um do outro. Todas as nossas GPUs conectadas por NVLink são essencialmente um chip gigante".

O problema é que tudo isso é tratado por cobre, limitando a distância que as GPUs podem estar umas das outras.

"A Nvidia tentará construir o melhor bloco de construção possível", disse Buck. "E esse bloco de construção agora é quantas GPUs você pode conectar em um único domínio NVLink em cobre".

Ele acrescentou: "Você só pode ir um metro e um pouco antes que os elétrons só queiram sair. Isso é o que está impulsionando a densidade. E acho que isso vai continuar até que se esgote, e então vamos descobrir o próximo 'algo-algo' óptico, o próximo tecido de dimensionamento para reduzir o custo”.

A empresa tentou seguir um caminho diferente no passado, anunciando o DGX One Ranger, que "era do tamanho de todo o palco principal da Computex", lembra Buck. Em vez de cobre, ele foi óptico, "mas o problema era que, para fornecer tanta largura de banda NVLink desagregada assim, havia muita fibra óptica e tantos transceptores”.

"Metade da sua energia foi gasta apenas em óptica, apenas em toda a conectividade versus computação. Não era um design bom e eficiente e nunca chegou à produção”.

O cobre "não queima energia, então a missão tornou-se: 'vamos colocar o máximo de GPUs que pudermos em um NVL. Então, vamos continuar fazendo isso'".

Comutação fotônica

A empresa mudou muito desde os dias da Ranger, no entanto. Semana passada, anunciou que estava lançando switches de rede fotônica de silício - ou seja, para conectar racks entre si, não para conectividade dentro do rack.

Esse movimento por si só deve diminuir significativamente as demandas de energia da rede, aumentando crucialmente a porcentagem de energia da instalação que pode ser usada para implementar mais GPUs.

Mas sugere pelo menos um caminho para trazer a óptica ainda mais para o rack. "Contanto que você possa usar cobre, você usará cobre", disse o vice-presidente sênior de redes da Nvidia, Gilad Shainer.

"Mas, em algum momento, não haverá cobre. Este é apenas 200 gig SerDes por pista. Em três anos, quando fizermos a transição para 400 GB por faixa, esse limite de cobre de um a dois metros não dará em nada. Isso significa que tudo se tornará óptico - mas construímos sistemas com base no que você pode fazer, no que existe agora”.

Por enquanto, "NVLink é cobre entre domínios NVLink e scale out é fibra. No futuro, você pode supor que tudo se tornará óptico e, em seguida, haverá mais inovações em torno da óptica de co-pacote e como você traz a óptica diretamente para o switch e não para passar por transceptores.

Seja qual for a solução, o foco principal é encaixar o maior número possível de GPUs nessa única malha.

"Vamos escalar o máximo que pudermos", disse Huang, referindo-se repetidamente à ideia de milhares de GPUs em uma única malha, antes que a empresa precise mudar o foco para 'escalar' em vários racks.

Aqui, ele provavelmente está se referindo a GPUs do tamanho de retículo, em vez de GPUs distintas, novamente seguindo a mudança de convenção de nomenclatura que faz com que o NVL576 tenha 144 GPUs, cada uma com quatro GPUs do tamanho de retículo.

"É necessário colocar tudo em um rack se não houver razão para aumentar a escala de mais de 1.000 processadores porque a matemática de aumentar e diminuir a escala é tal que há retornos decrescentes além de 1.000 ou 5.000 GPUs?”.

"Depois disso, poderíamos escalar com muitos racks, certo? Mas se o aumento de escala for muito eficaz, como entre 72 e 144, e 288 e 576, então devemos tentar aumentar o máximo que pudermos. E é aí que estamos”.

"Algum dia, aposto que encontraremos retornos decrescentes e, nesse caso, aumentaremos para 4.000 - escolha um número - X número de milhares de GPUs. Depois disso, podemos escalá-lo - e então você não precisa acumulá-lo tão densamente”.