A Apple e a NVIDIA firmaram uma parceria para otimizar o desempenho de Modelos de Linguagem de Grande Escala (LLMs).
O foco dessa colaboração é a técnica ReDrafter, uma abordagem que visa acelerar a geração de texto, reduzir a latência e minimizar o consumo de energia, tudo isso mantendo alta eficiência.
A técnica, também conhecida como Recurrent Drafter, combina duas metodologias avançadas. A busca de feixe, ou beam search, otimiza a escolha de palavras durante a geração de texto, garantindo maior coerência e relevância.
Já a atenção em árvores, ou tree-based attention, organiza os dados de forma hierárquica, o que reduz a complexidade computacional e melhora a velocidade de processamento.
Essa combinação viabiliza resultados de última geração para o mercado de inteligência artificial (IA). A Apple é conhecida por usar seu silício personalizado, mas a empresa uniu esforços com a NVIDIA para integrar o ReDrafter à ferramenta TensorRT-LLM.
Essa ferramenta é muito utilizada para otimizar a execução de LLMs nas GPUs da NVIDIA. Durante o processo, novos operadores foram criados e os já existentes foram adaptados, aumentando a flexibilidade e a capacidade do TensorRT-LLM de lidar com modelos complexos e métodos de decodificação mais sofisticados.
Os benefícios dessa integração são impressionantes. A geração de tokens por segundo teve um aumento de 2,7 vezes em tarefas de decodificação gananciosa, que é uma abordagem simples e eficiente para gerar texto.
Além disso, houve uma redução expressiva na latência, o que significa respostas mais rápidas para os usuários finais.
Tudo isso foi alcançado com menor consumo de energia, uma vantagem necessária em tempos de demanda crescente por eficiência sustentável. O maior impacto dessa inovação é sua aplicação prática em ambientes de produção.
Desenvolvedores de aprendizado de máquina que utilizam GPUs NVIDIA vão poder aproveitar essa tecnologia para construir aplicações mais rápidas e eficientes, ampliando as possibilidades de uso em diversas áreas, como chatbots, sistemas de recomendação e geração de conteúdo.
Apesar do sucesso dessa colaboração, é improvável que a parceria entre Apple e NVIDIA se torne algo comum. As empresas têm um histórico de competição e abordagens tecnológicas distintas.
Mas, essa colaboração mostra que, quando o objetivo é comum, mesmo gigantes da tecnologia podem se unir para impulsionar a inovação.
