A NVIDIA anunciou recentemente o DLSS 3.5, a próxima atualização de sua tecnologia de upscaling, que traz melhorias notáveis no Ray Tracing, aprimorando sua qualidade por meio da Inteligência Artificial (IA).
A versão 3.5 da tecnologia Deep Learning Super Sampling (DLSS) da NVIDIA utilizará aprendizado de máquina para potencializar o Ray Tracing, elevando a autenticidade visual em todas as GPUs RTX.
O DLSS da NIVIDIA é um multiplicador de desempenho que foi apresentado pela primeira vez há 5 anos atrás na Gamescom 2018. Ao longo desses anos, essa tecnologia transformou-se em um componente fundamental das GPUs RTX.
O DLSS passou por aprimoramentos sucessivos graças aos poderosos supercomputadores de IA da empresa, que trabalham incansavelmente para treinar o modelo.
Após a primeira versão do DLSS, a empresa lançou quatro grandes atualizações, conforme listado abaixo:
- DLSS 1 (agosto de 2018): O nascimento do Deep Learning Super Sampling para o mundo.
- DLSS 2 (março de 2020): Uma nova rede neural que trouxe ganhos significativos em qualidade e desempenho.
- DLSS 2.3 (novembro de 2021): Detalhes aprimorados em movimento, reconstrução e estabilidade temporal.
- DLSS 3 (outubro de 2022): Novo recurso de geração de quadros que duplicou o desempenho.
- DLSS 3.1 (janeiro de 2023): Melhorias na estabilidade e qualidade da interface durante movimentos rápidos.
Agora, em 2023, na Gamescom, a NVIDIA apresentou mais uma grande atualização do DLSS 3, batizada de DLSS 3.5, que traz uma série de melhorias e aprimoramentos baseados em IA.
Com essa nova versão, a NVIDIA foca em aprimorar diretamente o Ray Tracing, utilizando o mesmo modelo de IA que impulsionou o DLSS. Para compreender as inovações do DLSS 3.5, é crucial entender o funcionamento tradicional do Ray Tracing.
Como o Ray Tracing é realizado atualmente
Em um fluxo típico de iluminação com Ray Tracing, a cena é primeiramente gerada com materiais e geometria, sem a aplicação de efeitos de iluminação. Em seguida, essa imagem é amostrada com diferentes efeitos de iluminação, como reflexos e iluminação global.
No exemplo abaixo, você pode observar que a cena não está completamente preenchida, resultando em pixels negros que representam falhas nas informações de iluminação.
Esses espaços vazios persistem porque é inviável lançar raios suficientes para preencher cada pixel ou distribuí-los uniformemente. Dessa forma, mesmo ao lançar inúmeros raios, sempre haverá pixels não renderizados.
Aqui é onde os denoiser entram em ação. Esses algoritmos analisam os raios amostrados e preenchem os pixels ausentes por meio de técnicas espaciais e temporais.
Um jogo pode incorporar vários denoisers para cada efeito de raio. Após o processamento dos denoisers, a imagem de Ray Tracing é composta e, então, ampliada para sua resolução nativa.
Os denoisers utilizam duas abordagens principais:
- Acumulação Temporal: Raios amostrados em diversos quadros (pode gerar artefatos visuais ou resultados pouco satisfatórios).
- Interpolação Espacial: Preenchimento das lacunas de informação usando pixels vizinhos (podendo causar imagens borradas ou irregulares).
No entanto, esses denoisers podem resultar em imprecisões na iluminação, além de qualidade inferior nos reflexos e na iluminação global.
Eles também podem remover dados de cores em alta frequência, necessários para o upscaling, resultando em imagens finais sem detalhes após a aplicação do Ray Tracing.
O papel revolucionário do DLSS 3.5
Diante desses desafios, a NVIDIA desenvolveu uma solução inovadora. Surge o DLSS 3.5, a última geração do DLSS, que traz consigo o recurso Ray Reconstruction (RR).
Essa técnica é essencialmente uma substituição dos múltiplos denoisers tradicionalmente empregados no fluxo de Ray Tracing mencionado.
A NVIDIA afirma que o RR é treinado com cinco vezes mais dados do que o DLSS 3, conferindo-lhe uma vantagem significativa na implementação em jogos e motores gráficos.
O RR é treinado para assimilar dados do motor gráfico, identificar diferentes efeitos de Ray Tracing, discernir pixels temporais e espaciais de boa e má qualidade, além de reter informações de alta frequência essenciais para o upscaling.
Uma comparação aproximada entre o denoiser tradicional e o DLSS 3.5 habilitado revela que essa nova técnica de Super Sampling mantém os pixels de alta qualidade e descarta os de baixa qualidade, resultando em uma qualidade de Ray Tracing significativamente superior à obtida pelo denoiser, que apenas combina os raios amostrados, resultando em iluminação imprecisa.
Esse avanço notável é possível graças a um conjunto de dados amplo, treinado offline e muito mais intensivo em termos computacionais do que a capacidade em tempo real.
Por meio dessas comparações entre imagens de Portal RTX e Cyberpunk 2077, é possível perceber como o DLSS 3.5 proporciona uma iluminação de Ray Tracing notavelmente mais realista e nítida, sem deixar a imagem embaçada ou perder detalhes de iluminação.
A iluminação não é a única beneficiada pelo DLSS 3.5; os reflexos também aproveitam esse novo modelo de IA, garantindo reflexos mais nítidos e fiéis à imagem original, pois os dados não são misturados como ocorre com denoisers tradicionais.
Qualidade superior de Ray Tracing com desempenho aprimorado
Você deve estar se perguntando se todos esses avanços significam uma demanda mais alta para a GPU. Surpreendentemente, a resposta é não.
Ativar o DLSS 3.5 e sua técnica de reconstrução de raio pode até aumentar o desempenho em relação ao DLSS 3 básico. Em um exemplo com o jogo Cyberpunk 2077, podemos observar a diferença de desempenho entre o DLSS desativado e a utilização de várias técnicas de IA.
Com o DLSS desativado e o RT-Overdrive (Path Tracing) habilitado, o jogo atinge 21 FPS. Ao ativar a Super Resolução DLSS 2, há um aumento significativo de FPS em mais de 3 vezes, mantendo uma boa qualidade de imagem.
Já o DLSS 3 vai além, incorporando a tecnologia FG (Frame Generation) para aumentar ainda mais o desempenho. E agora temos o recém-introduzido DLSS 3.5, que supera até mesmo o DLSS 3 em desempenho, ao mesmo tempo em que oferece visuais impressionantes de Ray Tracing.
A diferença é evidente na maneira como o DLSS 3.5 preenche de forma mais realista os raios nas paredes e em diversas superfícies, em comparação com outros métodos.
A NVIDIA esclarece que uma das razões para o aumento de desempenho é a capacidade de substituir vários denoisers por um único modelo de IA. No entanto, o desempenho final dependerá do título em questão.
Além disso, o DLSS 3.5 não se limita apenas a jogos; ele também oferece vantagens substanciais em criação de conteúdo profissional.
O renderizador D5 também receberá uma atualização com o DLSS 3.5, permitindo a renderização de projetos com Ray Tracing em toda a sua glória.
Sobre a integração, a NVIDIA garante que a implementação do reconstrutor de raio do DLSS 3.5 será tão simples quanto a integração da super resolução.
Os desenvolvedores precisarão desativar os denoisers internos, permitindo que as informações sejam encaminhadas ao modelo de IA do DLSS.
Esse enfoque promete uma integração eficiente e abre as portas para uma série de títulos aprimorados com a técnica de Ray Reconstruction no próximo ano.
Compatibilidade e suporte
Uma excelente notícia é que a tecnologia DLSS 3.5 com Ray Reconstruction será compatível com todas as GPUs RTX, começando com a série RTX 20 e abrangendo as GPUs RTX 30 e RTX 40.
A estrutura DLSS 3.5 também engloba tecnologias já existentes, como Super Resolução, DLAA e Geração de Quadros, otimizadas para suas respectivas gerações de GPUs.
Essas tecnologias se beneficiarão dos poderosos núcleos tensor da NVIDIA, garantindo desempenho incomparável e qualidade visual excepcional.
Os desenvolvedores terão a liberdade de escolher entre todas essas tecnologias integradas na estrutura DLSS 3.5, de acordo com suas preferências, desempenho ou qualidade de imagem.
"O Ray Tracing em tempo real foi um marco significativo em nossa busca por gráficos fotorrealistas nos jogos, e alcançamos esse marco com modos como o RT Overdrive no Cyberpunk 2077, o Minecraft com RTX e o Portal com RTX. Com a introdução do Ray Reconstruction no NVIDIA DLSS 3.5, os desenvolvedores podem contar com o auxílio da IA para aprimorar ainda mais os mundos que criam, superando as expectativas em relação à qualidade de imagem," disse Matt Wuebbling, vice-presidente de marketing da NVIDIA.
"Graças à inteligência do DLSS 3.5, alimentada pelo poder da renderização de IA, você poderá experimentar o melhor do Phantom Liberty, uma nova localização no mundo de Cyberpunk 2077: imagens mais nítidas, iluminação mais precisa e as taxas de quadros mais altas possíveis", disse Jakub Knapik, vice-presidente de arte e diretor de arte global da CD PROJEKT RED.
"O novo recurso de Ray Reconstruction no DLSS 3.5 torna nosso mundo totalmente baseado em Ray Tracing ainda mais deslumbrante, mergulhando você ainda mais profundamente na história de Alan Wake 2", disse Tatu Aalto, principal programador de gráficos na Remedy Entertainment.
"A integração do DLSS Ray Reconstruction com o D5 Render marca nossa terceira colaboração técnica com a NVIDIA, após DLSS SR e FG, melhorando ainda mais a qualidade visual dos recursos de renderização em tempo real do D5 Render. Estamos ansiosos para explorar mais possibilidades com a NVIDIA no futuro", disse Jessie Huang, vice-presidente e chefe de marketing da D5 Render.
Data de lançamento
O NVIDIA DLSS 3.5 estará disponível em setembro em três títulos de grande destaque: o aclamado Cyberpunk 2077 (com a atualização Phantom Liberty), Portal com RTX e o aguardado Alan Wake 2.
Além dos jogos, a tecnologia DLSS 3.5 também será incorporada às plataformas Omniverse, Chaos Vantage e ao já mencionado D5 Render, impulsionando a qualidade visual dessas ferramentas de criação.
Com essa nova atualização DLSS 3.5, a NVIDIA redefine os padrões de qualidade no Ray Tracing, tornando a experiência de jogo mais imersiva e realista do que nunca.
