A mais recente atualização do Llamafile, uma ferramenta desenvolvida por Mozilla Ocho, trouxe um aumento significativo de desempenho para as CPUs AMD Ryzen que utilizam o conjunto de instruções AVX-512.
Para quem não sabe, o Llamafile é uma ferramenta que pode ser implantada com um único arquivo executável que combina um modelo LLM com as bibliotecas necessárias para executá-lo.
O objetivo do Mozilla Ocho ao desenvolver esta ferramenta era tornar os LLMs acessíveis a um público maior, aproveitando tanto as execuções de CPU quanto de GPU.
Com essa nova atualização, as CPUs AMD Zen 4 "Ryzen" experimentarão uma avaliação de prompt dez vezes mais rápida, permitindo um desempenho LLM muito mais eficiente na ferramenta.
Isso é muito impressionante, pois as CPUs Ryzen da AMD são os únicos chips de consumo que suportam instruções AVX-512, enquanto a Intel se afastou do suporte, pois isso afeta suas vendas de chips Xeon.
O Llamafile está atualmente em seus estágios iniciais, mas já se tornou um grande sucesso entre os desenvolvedores, especialmente porque elimina a necessidade de soluções de alto custo para acessar LLMs.
No entanto, ainda existem áreas de imprecisões envolvidas com ele, que acreditamos que serão resolvidas em breve, já que a narrativa de computação de borda está ganhando impulso.
Os ganhos reais de desempenho ainda são desconhecidos por que ainda não houve testes, mas o Phoronix afirma que tem planos de testar o novo Llamafire 0.7 no futuro, tanto em sistemas AMD quanto Intel.
