NVIDIA’s Neural Texture Compression voor materiaaltextuurcompressie
NVIDIA-onderzoekers hebben een nieuw compressie-algoritme voor materiaaltexturen ontwikkeld.
In een paper getiteld”Random-Access Neural Compression of Material Textures”, presenteert NVIDIA een nieuw algoritme voor textuurcompressie. Het werk richt zich op de toenemende vereisten voor computergeheugen, dat nu texturen met een hoge resolutie opslaat, evenals vele eigenschappen en attributen die eraan zijn gekoppeld om high-fidelity en natuurlijk ogende materialen weer te geven.
De NTC zou naar verluidt leveren 4 keer hogere resolutie (16 meer texels) dan BC (Block Compression), een standaard GPU-gebaseerde textuurcompressie die beschikbaar is in vele formaten. Het algoritme van NVIDIA vertegenwoordigt texturen als tensoren (drie dimensies), maar zonder aannames zoals bij blokcompressie (zoals het aantal kanalen). Het enige waar NTC van uitgaat, is dat elke textuur dezelfde grootte heeft.
Willekeurige en lokale toegang is een belangrijk kenmerk van NTC. Voor GPU-textuurcompressie is het van het grootste belang dat texturen zonder vertraging toegankelijk zijn tegen lage kosten, zelfs wanneer hoge compressiesnelheden worden toegepast. Dit onderzoek richt zich op het samen comprimeren van vele kanalen en mipmaps (texturen van verschillende grootte). Door dit te doen beweert de krant dat de kwaliteit en bitsnelheid beter zijn dan JPEG XL-of AVIF-formaten.
Random-Access Neural Compression of Material Textures, NVIDIA
blockquote
De voortdurende vooruitgang van fotorealisme bij weergave gaat gepaard met een toename van textuurgegevens en als gevolg daarvan een toenemende opslag-en geheugenbehoefte. Om dit probleem aan te pakken, stellen we een nieuwe neurale compressietechniek voor die speciaal is ontworpen voor materiële texturen. We ontgrendelen nog twee detailniveaus, d.w.z. 16× meer texels, met behulp van compressie met lage bitsnelheid, met een beeldkwaliteit die beter is dan geavanceerde beeldcompressietechnieken, zoals AVIF en JPEG XL. Tegelijkertijd maakt onze methode on-demand, real-time decompressie mogelijk met willekeurige toegang, vergelijkbaar met bloktextuurcompressie op GPU’s. Dit breidt onze compressievoordelen helemaal uit van schijfopslag tot geheugen. Het belangrijkste idee achter onze aanpak is het samen comprimeren van meerdere materiaalstructuren en hun mipmap-ketens, en het gebruik van een klein neuraal netwerk, dat is geoptimaliseerd voor elk materiaal, om ze te decomprimeren. Ten slotte gebruiken we een aangepaste trainingsimplementatie om praktische compressiesnelheden te bereiken, waarvan de prestaties die van algemene frameworks, zoals PyTorch, met een orde van grootte overtreffen.
— Random-Access Neural Compression of Material Textures, NVIDIA
In tegenstelling tot gewone BCx-algoritmen, die aangepaste hardware vereisen, gebruikt dit algoritme de matrixvermenigvuldigingsmethoden, die nu worden versneld door moderne GPU’s. Volgens de paper maakt dit het NTC-algoritme praktischer en capabeler vanwege lagere schijf-en geheugenbeperkingen.
Random-Access Neural Compression of Material Textures, NVIDIA
Volgens het artikel kunnen neurale texturen in realtime worden weergegeven met tot 16x meer texel dan de BC-benadering. De kosten van 4K-weergave zijn 1,15 ms, wat hoger is dan 0,49 ms (gemeten op RTX 4090). Meer informatie zal worden gepresenteerd op SIGGRAPH 2023 op 6 augustus.
Bron: NVIDIA
