O PlayStation 5 tem 16 GB de memória GDDR6 e largura de banda de 448 GB/s, características necessárias para executar modelos de inteligência artificial no próprio console.
Um usuário que sabe disso, aproveitou essa capacidade para rodar o Qwen3.8-27B, um modelo de linguagem com 27 bilhões de parâmetros, mas precisou fazer várias adaptações.
A principal mudança foi transferir o processamento da CPU para a GPU, o chip gráfico do PS5. Isso liberou mais memória para o modelo.
PS5LM passa de 6 GB para 11,4 GB de memória disponível
O projeto PS5LM começou com uma versão não oficial do llama.cpp para PS5, feita pelo usuário u/metover, do Reddit. Essa ferramenta consegue executar modelos de IA por meio de um programa usando a CPU.
Porém, outro usuário, u/AdIllustrious7246, identificou um problema. Essa abordagem deixava apenas 6 GB de memória disponíveis, sem espaço de memória gráfica para executar modelos mais pesados.
Para contornar o problema, ele adaptou o llama.cpp para funcionar como um aplicativo nativo do PS5. A versão usa Vulkan por meio de uma adaptação do RADV, um driver de código aberto para GPUs AMD que faz parte do projeto Mesa.
Com a mudança, a memória disponível passou de 6 GB para 11,4 GB. Esse espaço foi suficiente para executar uma versão do Qwen3.8-27B com precisão bastante reduzida, uma técnica chamada quantização.
Modelo de 27 bilhões de parâmetros ocupa 6,8 GB
Na precisão de 16 bits, o Qwen3.8-27B precisaria de 54 GB de memória. Essa quantidade precisaria de um sistema com várias GPUs ou uma única GPU acompanhada de muita memória RAM.
Como o PS5 não tem essas configurações, o usuário testou a versão Qwen3.8-27B-UD-IQ2_XXS. Nela, os valores internos do modelo, chamados de pesos, são armazenados com cerca de 2 bits cada.
Isso reduz o tamanho para 6,8 GB, mas essa redução tem um custo, o modelo acaba cometendo mais erros e tem menor capacidade de raciocínio.
Com a janela de contexto, que define a quantidade de informação que a IA pode considerar de uma vez, ajustada para 64 mil tokens, o uso total de memória chegou a 91%.
PS5 chega a 124 tokens por segundo com modelo menor
Com a largura de banda da memória do PS5, o Qwen3.8-27B chegou a 20,9 tokens por segundo. Os tokens são as unidades de texto processadas pela IA.
Durante o teste, a GPU ficou com 100% de uso, enquanto a CPU ficou em 2%. Modelos menores tiveram velocidades mais altas.
- Leia também: AnyPS5 pode levar jogos de PS5 ao PC sem emulação
O Gemma 4 E4B chegou a 61 tokens por segundo, e o Llama 3.2 3B alcançou 124 tokens por segundo. O consumo total foi de 86 W, com temperatura de 54 °C.
O resultado é ótimo para um console feito para jogos, mas o limite de memória exige escolher entre um modelo de 27 bilhões de parâmetros com precisão reduzida e modelos bem menores.
Em ambos os casos, a qualidade pode não ficar boa. Além disso, executar o llama.cpp como aplicativo nativo precisa de um desbloqueio, conhecido como jailbreak, que invalida a garantia e pode resultar em banimentos em jogos online.
O PS5 também não foi o único aparelho usado nesse tipo de experiência. Em outro projeto, uma pessoa executou um modelo de IA de 120 bilhões de parâmetros com seis dispositivos, incluindo um Galaxy S24+.
