Hardwares

NVIDIA perde espaço entre engenheiros de IA por custos de energia e refrigeração

NVIDIA está perdendo espaço entre engenheiros de IA devido ao alto custo de energia e refrigeração.
Imagem de: NVIDIA perde espaço entre engenheiros de IA por custos de energia e refrigeração

A NVIDIA perdeu espaço entre engenheiros de IA por causa dos custos de energia e refrigeração, segundo analistas da Evercore ISI.

Mesmo com a ideia de que as GPUs da empresa entregam um custo total de operação melhor que chips personalizados para IA, o relatório aponta que muitos profissionais da área não estão totalmente convencidos disso.

O CEO da NVIDIA, Jensen Huang, já comentou várias vezes que os chips de IA da empresa custam mais caro porque entregam melhor eficiência de desempenho em comparação com concorrentes.

Ainda assim, a Evercore diz que engenheiros de IA também analisam outros fatores na hora de escolher o hardware, como os custos de energia e refrigeração dos servidores.

Consumo de energia e refrigeração pesam no custo dos chips

A análise da Evercore apareceu pouco depois de um relatório do Morgan Stanley tratar do mesmo assunto. Segundo o banco, montar um data center com GPUs Blackwell da NVIDIA pode custar o dobro em comparação com chips personalizados de IA.

Em compensação, o desempenho por watt das GPUs Blackwell seria até oito vezes maior. Mesmo assim, a Evercore aponta que engenheiros de IA não analisam apenas desempenho por watt na comparação entre chips.

Com base em conversas com profissionais da área e empresas hyperscaler, o relatório diz que os usuários também consideram outros custos ligados à operação dos sistemas com hardware da NVIDIA.

NVIDIA Co-Design Extremo Entregando Fatores-X Todos os Anos dos Chips aos Racks para Fábricas de IA
NVIDIA apresenta uma série de arquiteturas de hardware denominadas Blackwell, Rubin e Feynman, com diversos modelos NVLink e CPUs para os anos de 2024, 2026 e 2028.

Empresas buscam alternativas para reduzir custos

Segundo a Evercore, a mudança de um mercado focado em treinamento de IA para um cenário mais voltado à inferência aumentou a atenção para métricas como custo por token, retorno sobre investimento e custo total de operação.

Isso estaria acelerando o interesse de hyperscalers em ASICs próprios e aceleradores alternativos. A análise segue a mesma linha de comentários feitos por um especialista da Nebius.

Ele comentou que GPUs passaram a ser avaliadas usando métricas como custo por milhão de tokens gerados. O relatório também diz que o avanço da inferência mudou os critérios de compra.

Em vez de focar apenas em largura de banda e desempenho máximo, empresas passaram a considerar custo por token, consumo de energia, refrigeração, taxa de uso e custo total de operação.

A Evercore ainda cita que os argumentos da NVIDIA sobre ganhos de até 35 vezes em desempenho não têm chamado tanta atenção entre engenheiros de IA, que também consideram elevadas as margens brutas da empresa, estimadas em cerca de 70%.

Por causa disso, a análise aponta que muitos profissionais estão mais abertos ao uso de ASICs ou alternativas consideradas "boas o suficiente" para reduzir custos operacionais.

O especialista da Nebius também comentou que a demanda por inferência já representa cerca de 95% dos casos de uso corporativos. Segundo ele, chips da Groq têm ganhado preferência em alguns cenários por entregarem maior taxa de processamento.

Mais vistos da semana