Compressão de textura neural da NVIDIA para compactação de textura de material
Pesquisadores da NVIDIA desenvolveram um novo algoritmo de compactação para texturas de material.
Em um artigo intitulado “Random-Access Neural Compression of Material Textures”, a NVIDIA apresenta um novo algoritmo para compressão de textura. O trabalho visa os crescentes requisitos de memória de computador, que agora armazena texturas de alta resolução, bem como muitas propriedades e atributos associados a elas para renderizar materiais de alta fidelidade e aparência natural.
Diz-se que o NTC oferecem resolução 4 vezes maior (16 texels a mais) do que BC (Block Compression), que é uma compactação de textura baseada em GPU padrão disponível em muitos formatos. O algoritmo da NVIDIA representa texturas como tensores (três dimensões), mas sem quaisquer suposições como na compactação de blocos (como contagem de canais). A única coisa que o NTC assume é que cada textura tem o mesmo tamanho.
O acesso aleatório e local é uma característica importante do NTC. Para compactação de textura GPU, é de extrema importância que as texturas possam ser acessadas a um custo baixo sem demora, mesmo quando altas taxas de compactação são aplicadas. Esta pesquisa se concentra na compactação de vários canais e mipmaps (texturas de tamanhos diferentes) juntos. Ao fazer isso, o jornal afirma que a qualidade e a taxa de bits são melhores do que os formatos JPEG XL ou AVIF.
Compressão neural de acesso aleatório de texturas de materiais, NVIDIA
O avanço contínuo do fotorrealismo na renderização é acompanhado por um crescimento nos dados de textura e, conseqüentemente, aumento das demandas de armazenamento e memória. Para resolver esse problema, propomos uma nova técnica de compressão neural projetada especificamente para texturas de materiais. Desbloqueamos mais dois níveis de detalhe, ou seja, 16× mais texels, usando compressão de baixa taxa de bits, com qualidade de imagem superior a técnicas avançadas de compressão de imagem, como AVIF e JPEG XL. Ao mesmo tempo, nosso método permite a descompressão sob demanda e em tempo real com acesso aleatório semelhante à compactação de textura de bloco em GPUs. Isso estende nossos benefícios de compactação desde o armazenamento em disco até a memória. A ideia-chave por trás de nossa abordagem é comprimir várias texturas de materiais e suas cadeias de mipmaps juntas e usar uma pequena rede neural otimizada para cada material para descompactá-los. Finalmente, usamos uma implementação de treinamento personalizado para alcançar velocidades práticas de compactação, cujo desempenho supera o de frameworks gerais, como o PyTorch, em uma ordem de grandeza.
— Random-Access Neural Compression of Material Textures, NVIDIA
Ao contrário dos algoritmos BCx comuns, que requerem hardware personalizado, este algoritmo utiliza os métodos de multiplicação de matrizes, que agora são acelerados por GPUs modernas. De acordo com o artigo, isso torna o algoritmo NTC mais prático e mais capaz devido a menores restrições de disco e memória.
Compressão neural de acesso aleatório de texturas de materiais, NVIDIA
De acordo com o artigo, as texturas neurais podem ser renderizadas em tempo real com até 16x mais texel do que a abordagem BC. O custo da renderização 4K é de 1,15 ms, superior a 0,49 ms (medido em RTX 4090). Mais informações serão apresentadas no SIGGRAPH 2023 em 6 de agosto.
Fonte: NVIDIA
