Hardwares

Engenharia reversa libera até 15,8 TFLOPS de IA no chip Apple M4

Desenvolvedor libera potencial completo do chip M4 da Apple sem uso de ferramentas da empresa, alcançando 15,8 TFLOPS de desempenho em processamento de IA.
Imagem de: Engenharia reversa libera até 15,8 TFLOPS de IA no chip Apple M4

O Neural Engine presente nos chips da Apple, como o M4, foi projetado para tarefas de inferência. Isso significa que desenvolvedores podem executar modelos de inteligência artificial já treinados, mas não treinar novos modelos diretamente no hardware.

Ainda assim, uma pessoa conseguiu contornar essas limitações por meio de engenharia reversa, mantendo todo o processamento na memória RAM para alcançar um desempenho muito rápido durante o treinamento.

O que mais chama atenção nesse trabalho é que o potencial completo do M4 foi liberado sem o uso de ferramentas da Apple, como CoreML e Metal.

Na rede social X, o usuário @0x0SojalSec publicou em um repositório no GitHub o código utilizado para liberar toda a capacidade do M4.

Como a Apple não disponibiliza níveis de acesso para comunicação direta com esses chips, o desenvolvedor encontrou uma forma de interagir com o M4 sem recorrer às ferramentas da empresa ou ao uso da GPU.

Para isso, foi criada uma MIL (Model Intermediate Language) personalizada, desenvolvida do zero. Como o hardware possui restrições de acesso, algumas técnicas específicas precisaram ser utilizadas. Uma delas entra em ação quando o processo trava e precisa ser reiniciado para continuar o treinamento.

Nesse caso, a MIL personalizada usa o comando “exec()” para recriar o processo e dar continuidade ao treinamento. Dessa forma, o programa atualiza seu estado atual e continua aprendendo sem interrupções.

Segundo @0x0SojalSec, todo o processo foi realizado sem gravações na memória NAND, que possui velocidade inferior. Em vez disso, todas as operações foram mantidas na RAM, o que acelerou bastante a execução.

Ao contornar as limitações de software, o M4 presente em iPads e Macs pode atingir até 15,8 TFLOPS de desempenho em processamento de IA.

Esse nível de capacidade é suficiente para treinar modelos de inteligência artificial sem a necessidade de um computador de alto custo ou de uma GPU NVIDIA com preço muito acima da média.

Como o experimento foi realizado no M4, surge a expectativa sobre o desempenho que poderia ser alcançado em chips mais recentes, como o M5.

Ainda não existe confirmação de que a mesma MIL personalizada funcione nos modelos mais novos da linha Apple Silicon, nem se o comando "exec()" teria o mesmo comportamento nessas plataformas. Por enquanto, o código segue disponível para quem quiser analisar a implementação e testar a solução.

Mais vistos da semana