A Apple e a NVIDIA firmaram uma parceria para otimizar o desempenho de Modelos de Linguagem de Grande Escala (LLMs).
O foco dessa colaboração é a técnica ReDrafter, uma abordagem que visa acelerar a geração de texto, reduzir a latência e minimizar o consumo de energia, tudo isso mantendo alta eficiência.
A técnica, também conhecida como Recurrent Drafter, combina duas metodologias avançadas. A busca de feixe, ou beam search, otimiza a escolha de palavras durante a geração de texto, garantindo maior coerência e relevância.
Já a atenção em árvores, ou tree-based attention, organiza os dados de forma hierárquica, o que reduz a complexidade computacional e melhora a velocidade de processamento.
Essa combinação viabiliza resultados de última geração para o mercado de inteligência artificial (IA). A Apple é conhecida por usar seu silício personalizado, mas a empresa uniu esforços com a NVIDIA para integrar o ReDrafter à ferramenta TensorRT-LLM.
Essa ferramenta é muito utilizada para otimizar a execução de LLMs nas GPUs da NVIDIA. Durante o processo, novos operadores foram criados e os já existentes foram adaptados, aumentando a flexibilidade e a capacidade do TensorRT-LLM de lidar com modelos complexos e métodos de decodificação mais sofisticados.
Os benefícios dessa integração são impressionantes. A geração de tokens por segundo teve um aumento de 2,7 vezes em tarefas de decodificação gananciosa, que é uma abordagem simples e eficiente para gerar texto.
Além disso, houve uma redução expressiva na latência, o que significa respostas mais rápidas para os usuários finais.
- Leia também: Óculos inteligentes da Apple podem usar chip do Apple Watch para resolver problema de bateria
Tudo isso foi alcançado com menor consumo de energia, uma vantagem necessária em tempos de demanda crescente por eficiência sustentável. O maior impacto dessa inovação é sua aplicação prática em ambientes de produção.
Desenvolvedores de aprendizado de máquina que utilizam GPUs NVIDIA vão poder aproveitar essa tecnologia para construir aplicações mais rápidas e eficientes, ampliando as possibilidades de uso em diversas áreas, como chatbots, sistemas de recomendação e geração de conteúdo.
Apesar do sucesso dessa colaboração, é improvável que a parceria entre Apple e NVIDIA se torne algo comum. As empresas têm um histórico de competição e abordagens tecnológicas distintas.
Mas, essa colaboração mostra que, quando o objetivo é comum, mesmo gigantes da tecnologia podem se unir para impulsionar a inovação.
