Uma patente da Sony descreve uma tecnologia que prevê os próximos quadros de um jogo para reduzir o atraso entre o comando no controle e a resposta na tela.
A proposta pode ajudar a resolver um dos principais problemas da geração de quadros, que é o aumento da fluidez visual sem uma melhora equivalente na resposta aos comandos.
Nos últimos anos, tecnologias como o DLSS Super Resolution, da NVIDIA, abriram espaço para outras soluções que aumentam a resolução da imagem, como PSSR e QSSR, do PlayStation.
Já a geração de quadros faz com que os jogos pareçam mais fluidos ao inserir imagens extras entre as produzidas pelo processador gráfico, a GPU.
Mesmo assim, a resposta do jogo ainda depende da quantidade de quadros que ele realmente produz. Além desse atraso nos comandos, as imagens geradas podem apresentar falhas visuais ao serem combinadas com os quadros reais.
Como funciona a previsão de quadros do PlayStation
Recursos como o NVIDIA Reflex ajudam a diminuir o atraso nos comandos, mas a patente da Sony propõe outra abordagem.
O documento, identificado pelo Patentlyze e registrado em 15 de outubro, descreve um sistema capaz de prever uma imagem futura a partir de um quadro anterior. O resumo da patente explica:
A superamostragem com geração de quadros pode incluir a criação de uma representação dos dados de um primeiro quadro de imagem e o uso dessa representação para prever um segundo quadro sintético. O segundo quadro é exibido após o primeiro na sequência de imagens.
À primeira vista, a ideia parece próxima do DLSS Frame Generation, mas há uma diferença no funcionamento.
A tecnologia da NVIDIA usa um modelo de aprendizado de máquina para inserir um quadro artificial entre os dois últimos quadros produzidos pela GPU, antes da exibição.
A proposta do PlayStation prevê o próximo quadro com base também nos comandos do jogador. O princípio é semelhante ao do rollback netcode, usado em jogos de luta como Street Fighter 6 para lidar com atrasos nas partidas online.
Nesse caso, porém, a previsão das imagens seria muito mais complexa. A patente usa o salto de um personagem como exemplo:
O comando do usuário pode ocorrer ao mesmo tempo que a geração do último quadro de entrada, por exemplo, dentro de 15 milissegundos, ou pouco antes, em um intervalo maior que 15 milissegundos e menor que dois segundos. A ideia é relacionar o comando à geração da imagem. Quando um jogador aperta o botão de pulo, por exemplo, os próximos quadros mostram a animação do salto, que pode ser aprendida pelo codificador.
Sistema usaria imagens e comandos do controle
Na prática, uma parte do sistema, chamada codificador, receberia um quadro produzido pelo jogo, os comandos do controle e, quando disponíveis, dados sobre o movimento dos elementos na tela.
Outra parte, o decodificador, usaria essas informações para produzir um quadro artificial. Essa imagem apareceria antes de o próximo quadro real ficar pronto.
O sistema também poderia gerar vários quadros futuros para considerar diferentes possibilidades. Se a previsão estivesse errada, haveria uma alternativa sem inteligência artificial. O documento também descreve a geração algorítmica de quadros:
A geração algorítmica de quadros usa um algoritmo, em vez de aprendizado de máquina e redes neurais, para criar um quadro sintético. Conforme os aspectos descritos neste documento, ela pode usar dados de movimento ou combinar um quadro real anterior com o último quadro real.
Se funcionar como diz o documento, essa combinação poderia reduzir o atraso nos comandos e melhorar a fluidez dos jogos.
Tecnologia ainda tem desafios para chegar aos jogos
A patente não descreve a necessidade de componentes adicionais além dos que já existem nos sistemas atuais. Isso abre a possibilidade de uso em consoles da geração atual, mas não confirma que a tecnologia será lançada para eles.
Também é pouco provável que o recurso chegue em breve. O sistema é complexo, e erros frequentes de previsão poderiam prejudicar bastante a experiência em jogos de ação rápida ou de tiro competitivo.
A proposta é interessante, assim como outra tecnologia em desenvolvimento no PlayStation que poderia alterar o comportamento dos inimigos durante o jogo.
Se funcionar bem, a previsão de quadros tem potencial para oferecer mais fluidez em resolução 4K. Como ocorreu com o rollback netcode, os ajustes iniciais podem dar trabalho, mas os ganhos podem compensar.
