AMD lança modelo de linguagem pequeno com decodificação especulativa

TecFoco Inteligência Artificial AMD apresenta o AMD-135M, modelo de linguagem pequeno, treinado em GPUs MI250, com código aberto e técnica de decodificação especulativa para acelerar a Romário Leite · 2 de outubro de 2024

AMD-135M chega como primeiro SLM da empresa

01 A AMD divulgou o AMD-135M, seu primeiro modelo de linguagem pequeno (SLM) da família Llama, focado em processos de IA.

Treinamento rápido em GPUs MI250

02 O modelo foi treinado em quatro nós do acelerador AMD Instinct MI250, usando 670 bilhões de tokens em apenas seis dias.

Duas versões: geral e para código

03 O AMD-135M tem duas variantes: AMD-Llama-135M para uso geral e AMD-Llama-135M-code, ajustado com 20 bilhões de tokens de programação.

Decodificação especulativa acelera a geração

04 A técnica usa um modelo de rascunho para criar vários tokens candidatos, que são validados pelo modelo principal, reduzindo o tempo de processamento.

Teste de desempenho com CodeLlama-7b

05 Em testes, o AMD-Llama-135M como rascunho acelerou o CodeLlama-7b em hardware como Instinct MI250, Ryzen AI CPU e NPU.

Código aberto para desenvolvedores

06 AMD disponibiliza código, dados e pesos do AMD-135M, incentivando a comunidade a replicar e melhorar modelos pequenos e grandes.

Leia a matéria completa

AMD apresenta o AMD-135M, modelo de linguagem pequeno, treinado em GPUs MI250, com código aberto e técnica de decodificação especulativa para acelerar a Abrir matéria completa TecFoco Abrir matéria completa