O novo Switch OLED decepcionou muitos, mas o P&D da Nintendo está fazendo experiências com aprendizado profundo. Isso significa que um Switch 4K com tecnologia DLSS vai acontecer afinal?
VER GALERIA-8 IMAGENS
Nota: Este é um artigo considerável cheio de fatos e especulações. Os fatos referem-se aos hábitos de gastos da Nintendo com P&D, com avarias de chips DLSS e chips móveis Tegra da NVIDIA. A especulação é qual chip o switch atualizado teórico poderia usar e por quê.
Durante a exploração do recente Relatório Anual 2021 , notei algo interessante: a empresa menciona especificamente o aprendizado profundo em suas atividades de P&D. Referências ao aprendizado profundo são também encontradas no relatório 2020 , confirmando que a Nintendo tem investigado e experimentado o aprendizado profundo desde abril de 2019. O aprendizado profundo não é mencionado em nenhum outro relatório anual da Nintendo, e a empresa gasta mais em P&D no ano fiscal de 2019 do que em qualquer outro período de sua história.
“Com relação ao hardware, continuamente investigamos e realizamos pesquisas em tecnologias fundamentais que abrangem a tecnologia de armazenamento de dados, como memória semicondutora, tecnologia de exibição, como telas de cristal líquido e eletrônicos componentes, ao mesmo tempo em que realizamos atividades de pesquisa e desenvolvimento para examinar a aplicabilidade de várias tecnologias, incluindo interfaces como […] aprendizado profundo e análise de big data para o campo do entretenimento doméstico,” diz o relatório de 2021.
Aprendizado profundo é o processo que torna tecnologia Deep Learning Super-Sampling (DLSS) da NVIDIA possível, um tipo de magia digital que pode ser aprimorada uma imagem de 1080p para resolução de 4K (além de melhorar as taxas de quadros no jogo).
A melhor parte do DLSS é que ele reduz os custos de renderização. Os desenvolvedores agora podem usar texturas de resolução inferior em seus jogos e contar com DLSS para obter uma melhor qualidade de pixel. Os desenvolvedores não precisam mais depender apenas da capacidade de processamento e podem eliminar muitos requisitos de desempenho de VRAM, GPU e CPU para seus jogos.
O DLSS reduz a carga de trabalho de pixel exigida pelo hardware, incluindo buffer gráfico e iluminação , e outros efeitos intensivos. “Quanto mais delimitado por pixels você for, mais benefícios de desempenho obterá.”
Essa parece ser a solução perfeita para um dispositivo portátil movido a SoC móvel mais fraco como o Interruptor. Até agora, a NVIDIA só usou DLSS em suas placas gráficas dedicadas que apresentam
Um tipo especial de rede AI, chamado autoencoder convolucional, pega o quadro atual de baixa resolução e o quadro anterior de alta resolução , para determinar pixel a pixel como gerar um quadro atual de qualidade superior.
Durante o processo de treinamento, a imagem de saída é comparada a uma imagem de referência de 16K de qualidade ultra-alta renderizada offline, e a diferença é comunicada de volta à rede para que ela possa continuar aprendendo e melhorando seus resultados. Esse processo é repetido dezenas de milhares de vezes no supercomputador até que a rede produza imagens de alta resolução e alta qualidade de maneira confiável.
DLSS 1.0 exigia que cada jogo fosse treinado individualmente.
Havia muitos rumores de que o Switch Pro atualizado (também conhecido como Switch 4K) usaria DLSS para permitir jogos em 4K a taxas de quadros aceitáveis. Isso exigiria núcleos tensores , um tipo especial de acelerador AI dedicado integrado em placas de vídeo NVIDIA mais recentes, como as séries RTX 20 e 30. O Tegra X1 não funcionaria para aprendizado profundo; o switch mais recente precisaria de um SoC atualizado, exatamente o tipo de chip que foi mencionado no relatório original da Bloomberg.
O DLSS é ativado por núcleos de tensor encontrados em três arquiteturas:
Núcleos de tensor de primeira geração-(Volta) Núcleos de tensor de segunda geração (Turing) + Núcleos de Raytracing (RT) dedicados de primeira geração-GeForce GTX série 16, série RTX 20 Núcleos de tensor de terceira geração (Ampère) + Núcleos de Raytracing (RT) de segunda geração-GeForce RTX 30 série
Existem duas iterações diferentes de DLSS, ambas as quais requerem Tensor Cores:
DLSS 1.0 -a IA precisa ser treinada especificamente para cada jogo, consumindo muito tempo DLSS 2.0 -Treina usando conteúdo não específico do jogo, entregando uma rede generalizada que funciona em todos os jogos
A NVIDIA também está trabalhando em novos modos de ultra qualidade em DLSS 2.2.9 .
As investigações têm sido bastante complicadas e ninguém sabe com certeza qual chip exato o Switch Pro usará.
Há uma possibilidade de que a Nintendo e a NVIDIA ajustem o Xavier SoC, que é equipado com um GPU Volta com núcleos de tensor de primeira geração , em um formato menor para atender às necessidades do Switch (o tamanho da matriz de Xavier é 350 mm quadrados substanciais em comparação com 118 mm quadrados menores do Tegra X1-o X1 é muito melhor para um portátil).
Volta não era usado em hardware comercial fora de $ 3.000 Titan V , e era usado principalmente em aplicativos HPC como o acelerador de datacenter Tesla V100 assim como o SoC automotivo Xavier.
É este chip automotivo que pode ser usado no Switch Pro, da mesma forma que o Tegra X1 foi usado no Switch base 2017 (e a revisão de 2017 com o 16nm Tegra X1 +).
No entanto, também existe a possibilidade da Nintendo querer adotar um chip mais preparado para o futuro e optar por um Turing ou um SoC baseado em Ampere… ou algo além.
No momento, a NVIDIA não faz um Tegra baseado em Turing, mas é possível que eles criassem um especificamente para a Nintendo. O Switch provou ser um monstro de vendas com <”84,59 milhões de unidades vendidas em todo o mundo e é seguro dizer que a plataforma é uma boa aposta para a NVIDIA.
A nova linha Orin baseada em Ampere da NVIDIA tem um chip de câmera de 15 W que pode ser um bom ajuste para o Switch Pro.
A NVIDIA tem um futuro SoC baseado em Ampere chamado Orin que está em desenvolvimento e poderia teoricamente usar Tensor Cores de terceira geração para melhorar o desempenho do DLSS.
No entanto, o Twitter confiável tecchie kopite7kimi indica que o Switch Pro pode ser alimentado pela nova GPU Ada Lovelace da NVIDIA construída em Ampere Próximo .
Teoricamente, o Switch Pro poderia usar um Orin SoC personalizado especial, possivelmente construído no modelo de 15 W de baixa potência para câmeras com TDP significativamente reduzido.
Kopite também diz que o novo O 4K Switch poderia usar um T239 Orin Tegra SoC personalizado com o codinome Black Knight
Ninguém sabe o que a Nintendo fará a seguir, mas o aprendizado profundo de P&D é muito interessante.
