Neural Texture Compression von NVIDIA zur Komprimierung von Materialtexturen
NVIDIA-Forscher haben einen neuartigen Komprimierungsalgorithmus für Materialtexturen entwickelt.
In einem Artikel mit dem Titel „Random-Access Neural Compression of Material Textures“ stellt NVIDIA einen neuen Algorithmus zur Texturkomprimierung vor. Die Arbeit zielt auf die steigenden Anforderungen an Computerspeicher ab, der jetzt hochauflösende Texturen sowie viele damit verbundene Eigenschaften und Attribute speichert, um Materialien mit hoher Wiedergabetreue und natürlichem Aussehen wiederzugeben.
Der NTC soll dies tun liefert eine viermal höhere Auflösung (16 weitere Texel) als BC (Block Compression), eine standardmäßige GPU-basierte Texturkomprimierung, die in vielen Formaten verfügbar ist. Der Algorithmus von NVIDIA stellt Texturen als Tensoren (drei Dimensionen) dar, jedoch ohne Annahmen wie bei der Blockkomprimierung (z. B. Kanalanzahl). Das einzige, was NTC annimmt, ist, dass jede Textur die gleiche Größe hat.
Zufälliger und lokaler Zugriff ist ein wichtiges Merkmal des NTC. Für die GPU-Texturkomprimierung ist es von größter Bedeutung, dass die Texturen auch bei hohen Komprimierungsraten zu geringen Kosten ohne Verzögerung abgerufen werden können. Diese Forschung konzentriert sich darauf, viele Kanäle und Mipmaps (Texturen unterschiedlicher Größe) zusammen zu komprimieren. Dadurch behauptet das Papier, dass die Qualität und Bitrate besser sind als die Formate JPEG XL oder AVIF.
Random-Access Neural Compression of Material Textures, NVIDIA
Die kontinuierliche Weiterentwicklung des Fotorealismus beim Rendering wird von einem Wachstum an Texturdaten und folglich steigenden Speicher-und Speicheranforderungen begleitet. Um dieses Problem anzugehen, schlagen wir eine neuartige neurale Kompressionstechnik vor, die speziell für Materialtexturen entwickelt wurde. Wir schalten zwei weitere Detailebenen frei, d. h. 16× mehr Texel, unter Verwendung einer Komprimierung mit niedriger Bitrate, mit einer Bildqualität, die besser ist als fortgeschrittene Bildkomprimierungstechniken wie AVIF und JPEG XL. Gleichzeitig ermöglicht unsere Methode eine On-Demand-Echtzeit-Dekomprimierung mit wahlfreiem Zugriff, ähnlich der Blocktexturkomprimierung auf GPUs. Dies erweitert unsere Komprimierungsvorteile vom Festplattenspeicher bis zum Arbeitsspeicher. Die Schlüsselidee hinter unserem Ansatz besteht darin, mehrere Materialtexturen und ihre Mipmap-Ketten zusammen zu komprimieren und ein kleines neuronales Netzwerk zu verwenden, das für jedes Material optimiert ist, um sie zu dekomprimieren. Schließlich verwenden wir eine benutzerdefinierte Trainingsimplementierung, um praktische Komprimierungsgeschwindigkeiten zu erreichen, deren Leistung die von allgemeinen Frameworks wie PyTorch um eine Größenordnung übertrifft.
– Random-Access Neural Compression of Material Textures, NVIDIA
Im Gegensatz zu gängigen BCx-Algorithmen, die benutzerdefinierte Hardware erfordern, verwendet dieser Algorithmus die Matrixmultiplikationsmethoden, die jetzt durch moderne GPUs beschleunigt werden. Dem Artikel zufolge macht dies den NTC-Algorithmus aufgrund geringerer Festplatten-und Speicherbeschränkungen praktischer und leistungsfähiger.
Random-Access Neural Compression of Material Textures, NVIDIA
Dem Artikel zufolge können neurale Texturen in Echtzeit mit bis zu 16x mehr Texel als beim BC-Ansatz gerendert werden. Die Kosten für 4K-Rendering betragen 1,15 ms, was höher ist als 0,49 ms (gemessen auf RTX 4090). Weitere Informationen werden am 6. August auf der SIGGRAPH 2023 präsentiert.
Quelle: NVIDIA
