Elon Musk revelou que o Grok 3, o mais novo modelo de IA da sua startup xAI, foi treinado com 100.000 GPUs NVIDIA H100. Esse feito coloca a xAI na corrida pela supremacia em inteligência artificial (IA).
Enquanto várias empresas de IA lutam para lançar modelos LLM avançados, Elon Musk está levando a xAI a um novo patamar com a linha de modelos Grok.
A proposta é integrar esses modelos como assistentes de IA premium para usuários do X (antigo Twitter). A xAI já lançou versões anteriores do Grok e está pronta para o lançamento do Grok 2 em agosto.
No entanto, Musk está um passo à frente e já promove o Grok 3, prometendo que será significativamente mais avançado que seus antecessores. O uso de 100.000 GPUs no treinamento do Grok 3 é algo muito impressionante.
Para se ter uma ideia, o modelo GPT-4 da OpenAI foi treinado com "apenas" 40.000 GPUs A100, que já são consideradas ultrapassadas comparadas às H100. Isso dá uma noção do poder e do potencial que o Grok 3 terá.
Em um tweet recente, Musk falou sobre os desafios de treinar LLMs com dados da internet, mencionando que isso demanda "muito trabalho" e recursos computacionais massivos.
O Grok 2, previsto para agosto, já é um avanço significativo, mas o Grok 3 promete ser um verdadeiro divisor de águas.
Além disso, Musk anunciou a intenção de adquirir aceleradores de IA Blackwell B200 da NVIDIA, um investimento avaliado em cerca de US$ 9 bilhões.
Só o treinamento do Grok 3 deve custar cerca de US$ 3 bilhões, mostrando que Musk está apostando alto na xAI. Com isso, a xAI tem o potencial de se tornar o próximo grande nome na tecnologia de IA.
A startup de Elon Musk está não apenas acompanhando, mas aumentando as expectativas em torno do avanço da IA. Isso já era esperado, já que Musk foi um dos cofundadores da OpenAI.
Com essa proposta, a xAI de Elon Musk tem o potencial para redefinir os limites do que é possível na inteligência artificial.
Com o Grok 3, treinado em uma quantidade sem precedentes de GPUs NVIDIA H100, a expectativa é de que a empresa traga avanços próximos aos da chegada do ChatGPT para o mercado.
