iPhone 17 Pro consegue executar modelo de IA que exige 200 GB de memória

Imagem de: iPhone 17 Pro consegue executar modelo de IA que exige 200 GB de memória

O iPhone 17 Pro conseguiu executar um modelo de linguagem com 400 bilhões de parâmetros, algo que normalmente exige um hardware com grande quantidade de memória.

Modelos desse tamanho costumam precisar de pelo menos 200 GB de RAM, mesmo quando comprimidos ou quantizados. Por causa dessas exigências, um smartphone não seria a escolha mais provável para esse tipo de tarefa.

Ainda assim, um vídeo mostrou que a nova geração da Apple conseguiu realizar esse teste usando alguns métodos específicos. A demonstração foi feita com o projeto de código aberto Flash‑MoE, apresentado por @anemll.

O resultado mostrou que o aparelho consegue executar o modelo, mas com limitações. A velocidade de geração foi de apenas 0,6 tokens por segundo, o que representa aproximadamente uma palavra a cada 1,5 a 2 segundos.

Esse ritmo é considerado muito lento para uso cotidiano. Mesmo assim, o teste chama atenção por mostrar que um modelo com 400 bilhões de parâmetros conseguiu rodar em um smartphone.

O desempenho é baixo, mas a demonstração indica que, com mais ajustes e melhorias, pode ser possível executar modelos de linguagem diretamente no dispositivo no futuro.

Para tornar isso possível, os desenvolvedores não carregaram todo o modelo na memória do aparelho. O iPhone 17 Pro possui apenas 12 GB de memória LPDDR5X, valor muito abaixo do necessário.

Em vez disso, o Flash-MoE utilizou o armazenamento interno SSD do aparelho para transmitir dados diretamente para a GPU. Além disso, o sistema usa a arquitetura MoE, sigla para "Mixture of Experts".

Esse método ativa apenas parte dos 400 bilhões de parâmetros durante a geração de cada palavra, reduzindo a carga de processamento.

Outro ponto é que executar um modelo localmente oferece mais privacidade, já que as respostas são geradas diretamente no dispositivo, sem necessidade de conexão com a internet.

Por outro lado, esse tipo de operação exige bastante da bateria do aparelho, o que pode reduzir a autonomia durante o uso.

Mesmo com versões comprimidas dos modelos, um sistema com 400 bilhões de parâmetros ainda precisaria de cerca de 200 GB de RAM.

Esse valor continua muito acima da capacidade do smartphone, o que explica a necessidade das técnicas usadas no teste.

A demonstração mostra que é possível executar um modelo de linguagem extremamente grande em um smartphone, mas a experiência ainda está longe do uso prático.

A diferença entre conseguir rodar o modelo e utilizá-lo de forma funcional ainda é grande, principalmente por causa da velocidade muito baixa.

O teste com o iPhone 17 Pro mostra um avanço técnico importante ao executar um modelo de 400 bilhões de parâmetros em um smartphone.

Mesmo com limitações de velocidade, consumo de bateria e memória, a demonstração indica um caminho para o futuro da inteligência artificial rodando diretamente nos dispositivos móveis, sem depender de servidores externos.

Romário Leite
Fundador do TecFoco. Atua na área de tecnologia há mais de 10 anos, com rotina constante de criação de conteúdo, análise técnica e desenvolvimento de código. Tem ampla experiência com linguagens de programação, sistemas e jogos. Estudou nas universidades UNIPÊ e FIS, tendo passagem também pela UFPB e UEPB. Hoje, usa todo seu conhecimento e experiência para produzir conteúdo focado em tecnologia.