Parceria otimiza LLMs com ReDrafter, ganhando velocidade, menor latência e menor consumo de energia.
Romário Leite · 21 de dezembro de 2024
ReDrafter combina beam search e atenção em árvores para gerar texto mais rápido e coerente.
Apple e NVIDIA adaptam o TensorRT-LLM, adicionando operadores que ampliam a flexibilidade do software.
Tokens por segundo aumentam 2,7× em decodificação gananciosa, reduzindo a latência e mantendo eficiência energética.
Desenvolvedores de ML podem criar chatbots e sistemas de recomendação mais rápidos e sustentáveis.
Apesar de competir, Apple e NVIDIA mostraram que objetivos comuns permitem parcerias inovadoras.
A nova técnica promete impulsionar aplicações de IA em produção, ampliando possibilidades em diversas áreas.
TecFoco