A AMD apresentou uma nova pesquisa durante o simpósio I3D com o título "PEPS: Positional Encoding Projected Sampling".
O estudo apresenta um novo método de codificação posicional que pode aumentar a eficiência da compressão de texturas neurais, reduzindo em cerca de 25% a quantidade de parâmetros do modelo sem perda perceptível de qualidade.
Como funciona a compressão de texturas neurais
A compressão de texturas neurais utiliza as chamadas INRs (Implicit Neural Representations), que aprendem funções capazes de converter coordenadas em sinais visuais.
Nesse processo, as coordenadas da textura são projetadas para um espaço de dimensão maior e enviadas para uma rede neural do tipo multi-layer perceptron (MLP).
Dessa forma, a textura pode ser representada de maneira mais compacta, reduzindo o espaço necessário para armazenamento.
O que muda com o PEPS
O PEPS modifica a forma como a codificação posicional é aplicada. Normalmente, esse sistema converte coordenadas de baixa dimensão em vetores baseados em seno e cosseno. A proposta da AMD trata cada projeção de seno e cosseno como um ponto em uma curva de Lissajous.
A partir desses pontos, o codificador faz novas amostragens, aumentando a quantidade de informações representadas pela INR sem ampliar o tamanho do modelo na mesma proporção.
Segundo os testes da empresa, isso possibilita reduzir em aproximadamente 25% a quantidade de parâmetros mantendo uma qualidade semelhante. Essa redução, por outro lado, aumenta o custo computacional.
Nos testes realizados em uma Radeon RX 9070 XT, a geração de uma textura de três canais com resolução de 1024x1024 levou 4,32ms usando o método BI-grid.
Com o Grid-PEPS, esse tempo passou para 5,47ms. Já a versão otimizada, chamada Grid-PinkPEPS, reduziu o tempo para 4,86ms.
Esse aumento acontece por causa das operações extras e do maior acesso à memória necessários para as novas amostragens feitas pelo PEPS.
Técnica também pode ser usada em renderização 3D
Além da compressão de texturas neurais, a AMD informa que o PEPS também pode ser aplicado em Signed Distance Functions (SDFs), usadas na renderização de objetos 3D.
Essas funções normalmente exigem grades de alta resolução, consumindo grandes quantidades de memória de vídeo (VRAM). Modelos neurais menores podem reduzir esse consumo.
Nos testes realizados com o conjunto Pitted Stonefish SDF, o Grid-PEPS alcançou um nível de precisão semelhante ao de métodos tradicionais utilizando oito vezes menos parâmetros no codificador.
Ainda não há previsão de uso em jogos
Apesar dos resultados apresentados, ainda não existe previsão para que a tecnologia chegue aos consumidores. Atualmente, apenas a NVIDIA disponibiliza kits de desenvolvimento e demonstrações públicas voltados para compressão de texturas neurais.
Até o momento, nenhum jogo lançou uma implementação completa dessa tecnologia. No caso da AMD, o suporte ainda é mais limitado.
A empresa sequer definiu um nome comercial para essa abordagem e, em seus trabalhos de pesquisa, utiliza apenas termos genéricos para se referir à tecnologia.
Mesmo sem previsão de adoção em produtos comerciais, o estudo mostra avanços na busca por técnicas que reduzam o consumo de memória em aplicações gráficas.
Esse tipo de otimização pode ganhar importância nos próximos anos, já que placas de vídeo com 8 GB de VRAM devem continuar presentes no mercado durante boa parte desta década.
