A Apple disse que iPhones e iPads podem rodar modelos de inteligência artificial com 14 bilhões de parâmetros ativos. Em conjuntos de Macs, a capacidade passa de 1,6 trilhão, sob certas condições.
Memórias mais rápidas e a adoção de dois Neural Engines, componentes dedicados à IA, melhoram a capacidade dos aparelhos de rodar modelos maiores. Ainda assim, cada produto tem seus limites.
Em um gráfico, a empresa lista quais modelos de linguagem, conhecidos pela sigla LLM, podem funcionar em seus dispositivos, conforme a memória disponível.
iPhones e iPads precisam de 16 GB de memória para modelos de 14 bilhões
Para rodar modelos com 14 bilhões de parâmetros ativos, a Apple recomenda um iPhone ou iPad com 16 GB de memória unificada.
O gráfico cita uma taxa de transferência de memória de 76 GB/s para executar IA no próprio aparelho. O A20 Pro já supera esse valor, com 115,2 GB/s.
MacBook Air e Mac mini, com até 64 GB de memória unificada e transferência de até 307 GB/s, podem rodar modelos com até 70 bilhões de parâmetros ativos, segundo a Apple. As versões mais completas do MacBook Pro chegam a 128 GB de memória unificada.
São máquinas caras, mas capazes de executar modelos de 120 bilhões de parâmetros. Essa capacidade é semelhante à dos notebooks RTX Spark equipados com a mesma quantidade de RAM.
Mac Studio chega a 480 bilhões de parâmetros em uma unidade
No Mac Studio, o M5 Ultra tem transferência de memória de até 1,2 TB/s e suporte a até 512 GB de memória unificada. Isso dá espaço para acomodar modelos de até 480 bilhões de parâmetros com folga.
Para quem pretende usar IA sem pagar mensalidades de serviços como Claude e Gemini, o Mac Studio é uma opção cara, mas segura.
Um conjunto de quatro unidades, com até 2 TB de memória unificada no total, teria capacidade para rodar modelos de 1,6 trilhão de parâmetros sem dificuldade.
Conjunto de Macs para IA pode custar mais de R$ 450 mil
A versão do Mac Studio com M5 Ultra custa US$ 10.700, cerca de R$ 55.781 em conversão direta. A configuração inclui CPU de 36 núcleos, GPU de 80 núcleos, Neural Engine de 32 núcleos e SSD de 1 TB.
Para um conjunto com quatro unidades, o custo indicado é de US$ 43.196, aproximadamente R$ 225.189. Mesmo assim, essa configuração ainda ficaria abaixo de 1 TB de memória unificada.
Para rodar modelos de 1 trilhão de parâmetros com as versões disponíveis, seriam necessárias oito unidades. O total chegaria a US$ 86.392, cerca de R$ 450.379.
É um gasto muito alto para executar modelos com pesos abertos. Por isso, a configuração faz pouco sentido para quem busca o melhor custo-benefício ao usar modelos de IA de ponta.
A Apple dá uma orientação útil para quem deseja executar IA localmente. Ainda faltam, porém, exemplos de modelos compatíveis e detalhes sobre o nível de quantização, que reduz o uso de memória, aceito por cada aparelho.
