Smartphones WebStory

iPhone 18 Pro dobra a velocidade do iPhone 17 Pro em teste de IA local

O A20 Pro roda o Bonsai 27B ao dobro da velocidade do A19 Pro em teste no iPhone 18 Pro, mas os 12 GB de RAM ainda limitam o uso do Bonsai 2.
Imagem de: iPhone 18 Pro dobra a velocidade do iPhone 17 Pro em teste de IA local

O A20 Pro executou um modelo de inteligência artificial com 27 bilhões de parâmetros no iPhone 18 Pro ao dobro da velocidade do A19 Pro, presente no iPhone 17 Pro.

Pela primeira vez na linha Apple Silicon, o chip traz dois Neural Engines de 16 núcleos, componentes dedicados ao processamento de IA.

O avanço, que a princípio parecia dispensável, se mostra essencial para rodar modelos de IA no próprio celular, sem depender de uma conexão com a internet.

A20 Pro combina memória mais rápida e dois Neural Engines

O iPhone 18 Pro e o iPhone 18 Pro Max têm 12 GB de RAM LPDDR5X com interface de 96 bits, mais rápida que a memória do iPhone 17 Pro e do iPhone 17 Pro Max.

Essa mudança, junto aos dois Neural Engines, amplia o desempenho de IA no aparelho. Adrien Grondin demonstrou os ganhos ao executar o modelo Bonsai 27B em um iPhone 18 Pro.

Na demonstração, o celular gera tokens, os pequenos trechos que formam as respostas da IA, com bastante velocidade.

O aparelho também tem largura de banda de memória unificada de 115,2 GB/s. Esse número indica o volume de dados que a memória consegue transferir por segundo.

Em tarefas feitas para a NPU, a unidade dedicada à IA, os dois Neural Engines atingem um pico de processamento superior ao da GPU de sete núcleos do A20 Pro. Com esse conjunto de chip e memória, o Bonsai 27B roda sem sinais de lentidão no iPhone 18 Pro.

Memória ainda limita o uso do Bonsai 2 no iPhone

Executar um modelo de 27 bilhões de parâmetros sem internet é um avanço importante para o iPhone. Ainda assim, há limitações.

A publicação no X levanta uma questão, com o lançamento do Bonsai 2, por que continuar usando o Bonsai? A resposta está no espaço disponível na memória do celular.

O Bonsai 2 com quantização de 2 bits é grande demais para caber na memória do iPhone 18 Pro, o que compromete o desempenho ao tentar executá-lo no aparelho.

A quantização reduz a quantidade de dados usada para representar o modelo. O Bonsai usa uma versão de 1 bit e consegue rodar com facilidade em dispositivos com 4 GB de RAM.

Em celulares com 8 GB ou 12 GB, o modelo tem ainda mais folga para funcionar. Isso ajuda a explicar a escolha do Bonsai 27B para a demonstração.

A limitação mostra o peso da memória no uso de IA no celular. A expectativa é que futuras versões do iPhone com mais RAM tenham suporte a modelos mais densos.