NVIDIAn hermotekstuuripakkaus materiaalien tekstuurien pakkaamiseen
NVIDIA-tutkijat ovat kehittäneet uuden pakkausalgoritmin materiaalikuvioita varten.
NVIDIA esittelee julkaisussa”Random-Access Neural Compression of Material Textures”uuden algoritmin tekstuurien pakkaamiseen. Työ kohdistuu lisääntyviin vaatimuksiin tietokoneen muistille, joka tallentaa nyt korkearesoluutioisia pintakuvioita sekä monia niihin liittyviä ominaisuuksia ja attribuutteja, jotta ne voivat renderöidä korkealaatuisia ja luonnollisen näköisiä materiaaleja.
NTC:n sanotaan tuottaa 4 kertaa korkeamman resoluution (16 tekseliä enemmän) kuin BC (Block Compression), joka on tavallinen GPU-pohjainen tekstuuripakkaus, joka on saatavana useissa muodoissa. NVIDIA:n algoritmi edustaa pintakuvioita tensoreina (kolme ulottuvuutta), mutta ilman mitään oletuksia, kuten lohkopakkauksessa (kuten kanavien lukumäärä). Ainoa asia, jonka NTC olettaa, on, että jokainen pintakuvio on samankokoinen.
Satunnainen ja paikallinen pääsy on tärkeä NTC:n ominaisuus. GPU-tekstuuripakkauksen kannalta on äärimmäisen tärkeää, että pintakuvioita voidaan käyttää pienellä hinnalla ilman viivettä, vaikka käytettäisiin korkeita pakkausnopeuksia. Tämä tutkimus keskittyy useiden kanavien ja mipmapsien (erikokoisten tekstuurien) pakkaamiseen yhteen. Näin tehdessään paperi väittää, että laatu ja bittinopeus ovat parempia kuin JPEG XL-tai AVIF-muodot.
Random-Access Neural Compression of Material Textures, NVIDIA
Fotorealismin jatkuvaan kehittymiseen renderöinnissä liittyy pintakuviotietojen kasvu ja sen seurauksena kasvavat tallennus-ja muistivaatimukset. Tämän ongelman ratkaisemiseksi ehdotamme uutta hermokompressiotekniikkaa, joka on erityisesti suunniteltu materiaalien tekstuureille. Avaamme vielä kaksi yksityiskohtatasoa, eli 16 kertaa enemmän tekseliä, käyttämällä alhaisen bittinopeuden pakkausta, ja kuvanlaatu on parempi kuin kehittyneet kuvanpakkaustekniikat, kuten AVIF ja JPEG XL. Samaan aikaan menetelmämme mahdollistaa on-demand, reaaliaikaisen purkamisen satunnaisella pääsyllä, joka on samanlainen kuin lohkotekstuurin pakkaus GPU:illa. Tämä laajentaa pakkausetujamme aina levytallennuksesta muistiin. Avainajatuksena lähestymistapamme takana on useiden materiaalikuvioiden ja niiden mipmap-ketjujen pakkaaminen yhteen ja niiden purkamiseen käyttämällä pientä, kullekin materiaalille optimoitua neuroverkkoa. Lopuksi käytämme mukautettua koulutustoteutusta käytännön pakkausnopeuksien saavuttamiseksi, joiden suorituskyky ylittää yleisten kehysten, kuten PyTorchin, suorituskyvyn suuruusluokkaa.
— Random-Access Neural Compression of Material Textures, NVIDIA
Toisin kuin yleiset BCx-algoritmit, jotka vaativat mukautettua laitteistoa, tämä algoritmi käyttää matriisin kertolaskumenetelmiä, joita nykyaikaiset grafiikkasuorittimet nyt kiihdyttävät. Paperin mukaan tämä tekee NTC-algoritmista käytännöllisemmän ja tehokkaamman alhaisempien levy-ja muistirajoitusten vuoksi.
Random-Access Neural Compression of Material Textures, NVIDIA
Paperin mukaan hermotekstuurit voidaan renderöidä reaaliajassa jopa 16x enemmän tekseliä kuin BC-lähestymistapa. 4K-renderöinnin hinta on 1,15 ms, mikä on yli 0,49 ms (mitattuna RTX 4090:lla). Lisätietoja esitellään SIGGRAPH 2023:ssa 6. elokuuta.
Lähde: NVIDIA
