Az NVIDIA neurális textúratömörítése anyagtextúrák tömörítésére
Az NVIDIA kutatói új tömörítési algoritmust fejlesztettek ki az anyagtextúrákhoz.
A „Materiális textúrák véletlen hozzáférésű neurális tömörítése” című cikkében az NVIDIA egy új algoritmust mutat be a textúrák tömörítésére. A munka a számítógépes memóriával szemben támasztott növekvő követelményeket célozza meg, amelyek ma már nagy felbontású textúrákat, valamint számos olyan tulajdonságot és attribútumot tárolnak, amelyek ezekhez kapcsolódnak, hogy nagy pontosságú és természetes megjelenésű anyagokat készíthessenek.
Az NTC egy említett 4-szer nagyobb felbontást (16-tal több texelt) biztosít, mint a BC (Block Compression), amely egy szabványos GPU-alapú textúratömörítés, amely számos formátumban elérhető. Az NVIDIA algoritmusa a textúrákat tenzorként jeleníti meg (három dimenzió), de minden olyan feltételezés nélkül, mint a blokktömörítésnél (például csatornaszám). Az egyetlen dolog, amit az NTC feltételez, az az, hogy minden textúra azonos méretű.
A véletlenszerű és helyi hozzáférés az NTC fontos jellemzője. A GPU textúra tömörítésénél rendkívül fontos, hogy a textúrák késedelem nélkül, kis költséggel elérhetők legyenek, még akkor is, ha magas tömörítési arányt alkalmaznak. Ez a kutatás számos csatorna és mipmap (különböző méretű textúrák) együttes tömörítésére összpontosít, és ezáltal a minőség és a bitráta jobb, mint a JPEG XL vagy AVIF formátumok – állítja a lap.
Random-Access Neural Compression of Material Textures, NVIDIA
A renderelésben a fotorealizmus folyamatos fejlődése a textúraadatok növekedésével, következésképpen a tárolási és memóriaigény növekedésével jár. Ennek a problémának a megoldására egy új neurális tömörítési technikát javasolunk, amelyet kifejezetten az anyagtextúrákhoz terveztek. Két további részletszintet, azaz 16-szor több texelt nyitunk meg alacsony bitsebességű tömörítéssel, és a képminőség jobb, mint a fejlett képtömörítési technikák, például az AVIF és a JPEG XL. Ugyanakkor módszerünk lehetővé teszi az igény szerinti, valós idejű kicsomagolást véletlen hozzáféréssel, hasonlóan a GPU-k blokktextúra tömörítéséhez. Ez kiterjeszti tömörítési előnyeinket a lemeztárolástól a memóriáig. Megközelítésünk alapötlete az, hogy több anyagtextúrát és azok mipmap láncait tömörítjük össze, és egy minden anyaghoz optimalizált kis neurális hálózatot használunk kitömörítésükre. Végül egy egyéni képzési megvalósítást használunk gyakorlati tömörítési sebességek eléréséhez, amelyek teljesítménye egy nagyságrenddel felülmúlja az általános keretrendszerekét, például a PyTorchét.
– Anyagtextúrák véletlen hozzáférésű neurális tömörítése, NVIDIA
Eltérően az általános BCx algoritmusoktól, amelyek egyedi hardvert igényelnek, ez az algoritmus a mátrixszorzási módszereket használja, amelyeket ma már a modern GPU-k felgyorsítanak. A lap szerint ez praktikusabbá és hatékonyabbá teszi az NTC algoritmust az alacsonyabb lemez-és memóriakorlátok miatt.
Random-Access Neural Compression of Material Textures, NVIDIA
A papír szerint a neurális textúrák valós időben jeleníthetők meg akár 16-szor több texellel, mint a BC megközelítés. A 4K renderelés költsége 1,15 ms, ami magasabb, mint 0,49 ms (RTX 4090-en mérve). További információk a SIGGRAPH 2023 rendezvényen lesznek bemutatva augusztus 6-án.
Forrás: NVIDIA