Elon Musk, presidente da X, anunciou o início do treinamento do GROK 3 em Memphis, utilizando uma quantidade exorbitante de GPUs NVIDIA H100, que são as mais avançadas do mercado atualmente.
A xAI, considerada uma das iniciativas mais promissoras de Musk, começou oficialmente o treinamento de seu próximo modelo de IA, chamado GROK 3. Segundo Musk, a xAI possui "o cluster de treinamento de IA mais poderoso do mundo".
Ele revelou essa informação em um post na plataforma X, quando disse que o supercluster é composto por 100.000 GPUs H100 refrigeradas a líquido em uma única malha RDMA.
Em outras publicações, Musk também parabenizou as equipes da xAI, X, NVIDIA e outras empresas de suporte pelo início desse treinamento em Memphis.
O treinamento começou às 4:20 da manhã, horário local de Memphis. Musk afirmou que a IA mais poderosa do mundo estará pronta em dezembro deste ano.
Relatórios indicam que o GROK 2 será lançado no próximo mês, enquanto o GROK 3 está programado para dezembro. Isso ocorreu cerca de duas semanas após a xAI e a Oracle encerrarem um acordo de servidor de US$ 10 bilhões.
Anteriormente, a xAI alugava chips de IA da NVIDIA através da Oracle, mas decidiu construir seu próprio supercomputador, encerrando o contrato existente.
O novo projeto visa criar um supercomputador superior ao da Oracle, utilizando 100.000 GPUs H100 de alta performance.
Cada GPU H100 custa aproximadamente US$ 30.000, algo em torno de R$ 170.000. Enquanto o GROK 2 utilizou 20.000 GPUs, o GROK 3 usará cinco vezes mais potência para desenvolver seu chatbot de IA.
A decisão de utilizar as GPUs H100 foi inesperada, considerando que a NVIDIA está prestes a lançar suas GPUs H200 no terceiro trimestre de 2024.
A H200, que utiliza a arquitetura avançada Hopper, promete melhor configuração de memória e até 45% mais eficiência no tempo de resposta para saídas de IA generativas.
Após a H200, a NVIDIA planeja lançar as GPUs B100 e B200 baseadas em Blackwell no final de 2024. Musk também falou da importância dessa nova fase de treinamento para a criação da IA mais poderosa do mundo até dezembro.
A Gigafactory of Compute da xAI estava programada para estar pronta antes do outono de 2025, mas a operação começou antes do previsto.
De acordo com Musk, esse modelo avançado de linguagem será completamente treinado até o final de 2024, e deve chegar como a IA mais rápida e avançada que o mundo já viu.
