A Intel publicou os novos benchmarks do MLPerf Inference v6.0, mostrando o desempenho das GPUs Arc Pro B70 e Arc Pro B60 em cargas de inferência de inteligência artificial.
Os resultados também mostram melhorias de software, com aumento de até 18% no desempenho das GPUs Arc Pro já existentes. As medições do MLCommons no MLPerf Inference v6.0 avaliam o desempenho de GPUs e CPUs em tarefas de IA.
Os dados mais recentes incluem os primeiros resultados das novas GPUs Arc Pro B70 e Arc Pro B65, apresentadas recentemente e baseadas no chip Big Battlemage.
Os testes foram realizados em um sistema com quatro GPUs Arc Pro B70 ou Arc Pro B65, com até 128 GB de VRAM no total, capazes de executar modelos com até 120 bilhões de parâmetros.
A configuração utilizou processadores Intel Xeon 6 e registrou desempenho de inferência até 80% maior em comparação com a Arc Pro B60 anterior, que possui 24 GB por GPU.
Intel MLPerf v6.0 — GPT-OSS-120B
| GPU Config | Offline (Tokens/s) | Server (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B70 (128 GB) | 1536.90 | 951.67 |
| 4 x Arc Pro B60 Dual (192 GB) | 1601.91 | 884.24 |
| 4 x Arc Pro B60 (96 GB) | 841.04 | 452.19 |
Intel MLPerf v6.0 — Llama2-70B-99
| GPU Config | Offline (Tokens/s) | Server (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B70 (128 GB) | 2459.18 | 1698.57 |
| 4 x Arc Pro B60 Dual (192 GB) | 3270.66 | 2199.50 |
| 4 x Arc Pro B60 (96 GB) | 1697.66 | 1106.26 |
Intel MLPerf v6.0 — Llama 3.1 8B
| GPU Config | Offline (Tokens/s) | Server (Tokens/s) |
|---|---|---|
| 4 x Arc Pro B60 Dual (192 GB) | 52.83 | 49.17 |
| 4 x Arc Pro B70 (128 GB) | 36.07 | 32.58 |
| 4 x Arc Pro B60 (96 GB) | 26.15 | 24.57 |
| 4 x Arc Pro B50 (64 GB) | 13.45 | 9.27 |
| 2 x Xeon 6 (128 Cores) | 9.61 | 3.68 |
Além do avanço entre gerações, a Intel também apresentou melhorias de software para IA. Segundo a empresa, essas otimizações resultaram em aumento de até 18% no desempenho das GPUs já disponíveis, como a Arc Pro B60.
CPUs Xeon 6 também aparecem nos testes
A Intel também enviou resultados com os processadores Xeon 6 no MLPerf Inference v6.0. A nova linha com P-cores apresentou ganho de até 90% em relação à geração anterior, com suporte a recursos como AMX e AVX-512 voltados para cargas de IA.
Segundo a Intel, os sistemas com GPUs Arc Pro B70 e B65 foram projetados para inferência moderna de IA, com solução integrada de hardware e software validada.
- Leia tambem: MediaTek Dimensity 9600 deve trazer 2 núcleos Ultra ARM pela primeira vez em configuração 2+3+3
As GPUs contam com maior capacidade de memória, suporte a múltiplas GPUs e transferência PCIe P2P, além de recursos voltados ao ambiente corporativo, como ECC, SR-IOV, telemetria e atualização remota de firmware.
A empresa também diz que a Arc Pro B70 consegue lidar com modelos maiores em configurações multi-GPU, com até 1,6x mais capacidade de cache KV ao executar modelos maiores. A Intel também destaca o papel do processador em cargas de IA.
Além do desempenho da GPU, a CPU é responsável por tarefas como gerenciamento de memória, orquestração de cargas e distribuição de tarefas, fatores que influenciam o custo total de operação e a eficiência do cluster.
Segundo a empresa, a Intel continua sendo a única fabricante de CPUs para servidores a enviar resultados isolados de CPU para o MLPerf Inference.
Mais da metade das submissões do MLPerf 6.0 utilizaram processadores Xeon como CPU principal. A Intel também cita ganhos de até 1,9x na geração anterior com os processadores Xeon 6 no MLPerf Inference v5.1.
Tecnologias integradas como AMX e AVX-512 também ajudam na execução de inferência de LLMs, fine-tuning e machine learning tradicional sem necessidade de aceleradores dedicados.
As GPUs Arc Pro continuam sendo voltadas para IA, com até 32 GB de VRAM e capacidade de processamento para esse tipo de carga por menos de US$ 1.000.
Na cotação atual, o valor equivale a cerca de R$ 5.500 a R$ 6.000, sem considerar impostos e taxas. A expectativa é que os modelos cheguem ao varejo em breve.
Os dados do MLPerf Inference v6.0 mostram avanços tanto em hardware quanto em software nas GPUs Arc Pro e nos processadores Xeon 6, com foco em inferência de IA e suporte a modelos maiores.
