NVIDIA’s Neural Texture Compression per la compressione delle texture dei materiali
I ricercatori NVIDIA hanno sviluppato un nuovo algoritmo di compressione per le texture dei materiali.
In un documento intitolato”Random-Access Neural Compression of Material Textures”, NVIDIA presenta un nuovo algoritmo per la compressione delle texture. Il lavoro si rivolge ai crescenti requisiti per la memoria del computer, che ora memorizza texture ad alta risoluzione, nonché molte proprietà e attributi ad esse associati per rendere materiali ad alta fedeltà e dall’aspetto naturale.
Si dice che l’NTC lo faccia offre una risoluzione 4 volte superiore (16 texel in più) rispetto a BC (Block Compression), che è una compressione delle texture basata su GPU standard disponibile in molti formati. L’algoritmo di NVIDIA rappresenta le texture come tensori (tre dimensioni), ma senza presupposti come nella compressione dei blocchi (come il conteggio dei canali). L’unica cosa che NTC presuppone è che ogni texture abbia le stesse dimensioni.
L’accesso casuale e locale è una caratteristica importante di NTC. Per la compressione delle texture tramite GPU, è della massima importanza che sia possibile accedere alle texture a un costo contenuto e senza ritardi, anche quando vengono applicati tassi di compressione elevati. Questa ricerca si concentra sulla compressione di molti canali e mipmap (trame di diverse dimensioni) insieme. In tal modo, il documento afferma che la qualità e il bitrate sono migliori rispetto ai formati JPEG XL o AVIF.
Compressione neurale ad accesso casuale delle texture dei materiali, NVIDIA
Il continuo progresso del fotorealismo nel rendering è accompagnato da una crescita dei dati delle texture e, di conseguenza, dall’aumento delle richieste di archiviazione e memoria. Per risolvere questo problema, proponiamo una nuova tecnica di compressione neurale specificamente progettata per le trame dei materiali. Sblocchiamo altri due livelli di dettaglio, ovvero 16 volte più texel, utilizzando una compressione a basso bitrate, con una qualità dell’immagine migliore rispetto alle tecniche avanzate di compressione delle immagini, come AVIF e JPEG XL. Allo stesso tempo, il nostro metodo consente la decompressione on demand in tempo reale con accesso casuale simile alla compressione delle texture a blocchi sulle GPU. Ciò estende i nostri vantaggi di compressione dall’archiviazione su disco alla memoria. L’idea chiave alla base del nostro approccio è comprimere più trame di materiali e le loro catene di mipmap insieme e utilizzare una piccola rete neurale, ottimizzata per ciascun materiale, per decomprimerle. Infine, utilizziamo un’implementazione di addestramento personalizzata per ottenere velocità di compressione pratiche, le cui prestazioni superano quelle dei framework generali, come PyTorch, di un ordine di grandezza.
— Compressione neurale ad accesso casuale delle texture dei materiali, NVIDIA
A differenza dei comuni algoritmi BCx, che richiedono hardware personalizzato, questo algoritmo utilizza i metodi di moltiplicazione delle matrici, ora accelerati dalle moderne GPU. Secondo il documento, ciò rende l’algoritmo NTC più pratico e più capace a causa dei minori vincoli di disco e memoria.
Compressione neurale ad accesso casuale di texture materiali, NVIDIA
Secondo il documento, le trame neurali possono essere renderizzate in tempo reale con un texel fino a 16 volte superiore rispetto all’approccio BC. Il costo del rendering 4K è di 1,15 ms, superiore a 0,49 ms (misurato su RTX 4090). Ulteriori informazioni saranno presentate al SIGGRAPH 2023 il 6 agosto.
Fonte: NVIDIA
