Apple e NVIDIA se unem para melhorar modelos de linguagem

TecFoco Inteligência Artificial A Apple e a NVIDIA firmaram uma parceria para otimizar o desempenho de Modelos de Linguagem de Grande Escala (LLMs). O foco dessa colaboração é a técnica Romário Leite · 21 de dezembro de 2024

Apple e NVIDIA se unem para melhorar modelos de

01 A Apple e a NVIDIA firmaram uma parceria para otimizar o desempenho de Modelos de Linguagem de Grande Escala (LLMs).

Ponto 2

02 O foco dessa colaboração é a técnica ReDrafter, uma abordagem que visa acelerar a geração de texto, reduzir a latência e minimizar o consumo de energia, tudo isso mantendo alta eficiência.

Ponto 3

03 A técnica, também conhecida como Recurrent Drafter, combina duas metodologias avançadas. A busca de feixe, ou beam search, otimiza a escolha de palavras durante a geração de texto, garantindo maior coerência e relevância.

Ponto 4

04 Já a atenção em árvores, ou tree-based attention, organiza os dados de forma hierárquica, o que reduz a complexidade computacional e melhora a velocidade de processamento.

Ponto 5

05 Essa combinação viabiliza resultados de última geração para o mercado de inteligência artificial (IA). A Apple é conhecida por usar seu silício personalizado, mas a empresa uniu esforços com a NVIDIA para integrar o ReDrafter à ferramenta TensorRT-LLM.

Ponto 6

06 Essa ferramenta é muito utilizada para otimizar a execução de LLMs nas GPUs da NVIDIA.

Leia a matéria completa

A Apple e a NVIDIA firmaram uma parceria para otimizar o desempenho de Modelos de Linguagem de Grande Escala (LLMs). O foco dessa colaboração é a técnica Abrir matéria completa TecFoco Abrir matéria completa