Compression de texture neurale de NVIDIA pour la compression des textures matérielles
Les chercheurs de NVIDIA ont développé un nouvel algorithme de compression pour les textures matérielles.
Dans un article intitulé”Random-Access Neural Compression of Material Textures”, NVIDIA présente un nouvel algorithme de compression de texture. Le travail cible les besoins croissants en mémoire informatique, qui stocke désormais des textures haute résolution ainsi que de nombreuses propriétés et attributs qui leur sont attachés pour rendre des matériaux haute fidélité et d’apparence naturelle.
Le NTC est censé offrent une résolution 4 fois plus élevée (16 texels de plus) que BC (Block Compression), qui est une compression de texture standard basée sur GPU disponible dans de nombreux formats. L’algorithme de NVIDIA représente les textures sous forme de tenseurs (trois dimensions), mais sans aucune hypothèse comme dans la compression de blocs (comme le nombre de canaux). La seule chose que NTC suppose est que chaque texture a la même taille.
L’accès aléatoire et local est une caractéristique importante du NTC. Pour la compression de texture GPU, il est de la plus haute importance que les textures soient accessibles à moindre coût sans délai, même lorsque des taux de compression élevés sont appliqués. Cette recherche se concentre sur la compression de nombreux canaux et mipmaps (textures de différentes tailles) ensemble. Ce faisant, le document affirme que la qualité et le débit binaire sont meilleurs que les formats JPEG XL ou AVIF.
Random-Access Neural Compression of Material Textures, NVIDIA
Les progrès continus du photoréalisme dans le rendu s’accompagnent d’une croissance des données de texture et, par conséquent, d’une augmentation des besoins en stockage et en mémoire. Pour résoudre ce problème, nous proposons une nouvelle technique de compression neuronale spécifiquement conçue pour les textures matérielles. Nous débloquons deux niveaux de détail supplémentaires, c’est-à-dire 16 fois plus de texels, en utilisant une compression à faible débit, avec une qualité d’image meilleure que les techniques de compression d’image avancées, telles que AVIF et JPEG XL. Dans le même temps, notre méthode permet une décompression en temps réel à la demande avec un accès aléatoire similaire à la compression de texture de bloc sur les GPU. Cela étend nos avantages de compression du stockage sur disque à la mémoire. L’idée clé derrière notre approche est de compresser ensemble plusieurs textures de matériaux et leurs chaînes mipmap, et d’utiliser un petit réseau de neurones, optimisé pour chaque matériau, pour les décompresser. Enfin, nous utilisons une implémentation de formation personnalisée pour atteindre des vitesses de compression pratiques, dont les performances dépassent celles des frameworks généraux, comme PyTorch, d’un ordre de grandeur.
— Random-Access Neural Compression of Material Textures, NVIDIA
Contrairement aux algorithmes BCx courants, qui nécessitent un matériel personnalisé, cet algorithme utilise les méthodes de multiplication matricielle, qui sont désormais accélérées par les GPU modernes. Selon l’article, cela rend l’algorithme NTC plus pratique et plus performant en raison de la réduction des contraintes de disque et de mémoire.
Random-Access Neural Compression of Material Textures, NVIDIA
Selon l’article, les textures neuronales peuvent être rendues en temps réel avec jusqu’à 16 fois plus de texels que l’approche BC. Le coût du rendu 4K est de 1,15 ms, ce qui est supérieur à 0,49 ms (mesuré sur RTX 4090). Plus d’informations seront présentées au SIGGRAPH 2023 le 6 août.
Source : NVIDIA