Notícias

AMD compra Taalas para acelerar inferência de IA com chips que gravam modelos no silício

AMD compra Taalas para melhorar processamento de IA com chip que grava modelos diretamente no silício.
Imagem de: AMD compra Taalas para acelerar inferência de IA com chips que gravam modelos no silício

Poucas semanas depois de fechar um acordo com a Cerebras para ampliar os recursos de inferência do futuro sistema Helios em escala de rack, a AMD anunciou a compra da Taalas, uma startup que desenvolve chips voltados especificamente para cargas de trabalho de inferência.

A aquisição faz parte da estratégia da AMD para complementar o Helios. A Taalas desenvolveu uma arquitetura que grava modelos de inteligência artificial diretamente no silício, eliminando uma das principais limitações no processamento de dados: a chamada "parede da memória".

Taalas grava o modelo de IA diretamente no chip

A "parede da memória" acontece quando as GPUs ficam paradas aguardando os dados necessários para começar os cálculos. A tecnologia da Taalas busca evitar esse processo ao incorporar um modelo de IA diretamente nos transistores do chip.

Para isso, a empresa criou uma arquitetura digital própria capaz de armazenar 4 bits de dados e executar operações matemáticas usando um único transistor.

O chip HC1, da Taalas, conta com blocos de hardware compartilhados que calculam continuamente os 16 produtos possíveis para cada peso de um modelo quantizado de 4 bits.

Como todos os resultados matemáticos possíveis já estão sendo calculados no chip, o transistor individual não precisa fazer a conta.

Ele funciona como um roteador físico que seleciona o resultado correto. Cada peso específico do modelo de IA é representado por um único transistor do tipo Mask ROM.

Durante a fabricação, uma pequena conexão física, criada por uma camada metálica, liga o transistor a uma das 16 linhas de resultados pré-calculados.

Quando os dados passam pelo chip, o transistor seleciona o canal matemático já calculado e envia o resultado para o somador. Segundo a Taalas, esse sistema faz com que o HC1 alcance entre 16 mil e 17 mil tokens por segundo por usuário.

Em termos simples, os valores usados nos cálculos do modelo não ficam armazenados em um banco de memória separado. Eles são incorporados fisicamente aos caminhos dos transistores.

O chip não precisa carregar o modelo ou buscar os dados em uma memória externa, porque o próprio circuito funciona como memória e unidade de processamento ao mesmo tempo. Porém, o chip só funciona com o modelo para o qual foi projetado.

Tecnologia tem relação com a abordagem da Groq

A proposta da Taalas tem algumas semelhanças com a LPU da Groq. Nesse caso, pequenos blocos isolados de SRAM são usados para armazenar os pesos dos modelos de IA diretamente na memória, deixando de lado a necessidade de trabalhar com um cache de memória tradicional.

A compra da Taalas pela AMD também se encaixa no trabalho de integração do Helios com o Wafer-Scale Engine da Cerebras.

O sistema da Cerebras coloca memória e capacidade de processamento equivalentes às de um supercomputador de IA inteiro em uma única e gigantesca superfície de silício interconectada.

São centenas de milhares de núcleos de processamento e dezenas de GB de SRAM conectados entre si, fazendo com que os dados circulem pelo próprio sistema sem depender de conexões externas que possam criar gargalos.

Com a aquisição da Taalas, a AMD passa a reunir essa abordagem com uma arquitetura em que o próprio chip carrega fisicamente os dados necessários para executar um modelo específico de IA.

Mais vistos da semana