NVIDIA’s Neural Texture Compression untuk kompresi tekstur material
Para peneliti NVIDIA telah mengembangkan algoritme kompresi baru untuk tekstur material.
Dalam makalah berjudul “Random-Access Neural Compression of Material Textures” NVIDIA menghadirkan algoritme baru untuk kompresi tekstur. Pekerjaan tersebut menargetkan peningkatan kebutuhan memori komputer, yang sekarang menyimpan tekstur beresolusi tinggi serta banyak properti dan atribut yang melekat padanya untuk merender material dengan fidelitas tinggi dan terlihat alami.
NTC adalah kata untuk menghadirkan resolusi 4 kali lebih tinggi (16 texel lebih banyak) daripada BC (Block Compression), yang merupakan kompresi tekstur berbasis GPU standar yang tersedia dalam banyak format. Algoritme NVIDIA merepresentasikan tekstur sebagai tensor (tiga dimensi), tetapi tanpa asumsi apa pun seperti dalam kompresi blok (seperti jumlah saluran). Satu-satunya hal yang diasumsikan NTC adalah bahwa setiap tekstur memiliki ukuran yang sama.
Akses acak dan lokal merupakan fitur penting NTC. Untuk kompresi tekstur GPU, sangat penting bahwa tekstur dapat diakses dengan biaya kecil tanpa penundaan, bahkan saat tingkat kompresi tinggi diterapkan. Penelitian ini berfokus pada mengompresi banyak saluran dan mipmap (tekstur dengan ukuran berbeda) secara bersamaan dan dengan demikian, kualitas dan kecepatan bitnya lebih baik daripada format JPEG XL atau AVIF, klaim makalah tersebut.
Random-Access Neural Compression of Material Textures, NVIDIA
Kemajuan berkelanjutan fotorealisme dalam rendering disertai dengan pertumbuhan data tekstur dan, akibatnya, meningkatkan kebutuhan penyimpanan dan memori. Untuk mengatasi masalah ini, kami mengusulkan teknik kompresi saraf baru yang dirancang khusus untuk tekstur material. Kami membuka dua tingkat detail lagi, yaitu 16× texel lebih banyak, menggunakan kompresi kecepatan bit rendah, dengan kualitas gambar yang lebih baik daripada teknik kompresi gambar tingkat lanjut, seperti AVIF dan JPEG XL. Pada saat yang sama, metode kami memungkinkan dekompresi real-time sesuai permintaan dengan akses acak yang serupa dengan memblokir kompresi tekstur pada GPU. Ini memperluas manfaat kompresi kami dari penyimpanan disk ke memori. Ide utama di balik pendekatan kami adalah mengompresi beberapa tekstur material dan rantai mipmapnya secara bersamaan, dan menggunakan jaringan saraf kecil, yang dioptimalkan untuk setiap material, untuk mendekompresinya. Terakhir, kami menggunakan implementasi pelatihan khusus untuk mencapai kecepatan kompresi praktis, yang kinerjanya melampaui kerangka kerja umum, seperti PyTorch, dengan urutan besarnya.
— Kompresi Neural Akses Acak untuk Tekstur Material, NVIDIA
Tidak seperti algoritme BCx biasa, yang memerlukan perangkat keras khusus, algoritme ini menggunakan metode perkalian matriks, yang kini dipercepat oleh GPU modern. Menurut makalah, ini membuat algoritme NTC lebih praktis dan lebih mampu karena kendala disk dan memori yang lebih rendah.
Random-Access Neural Compression of Material Textures, NVIDIA
Menurut makalah, tekstur saraf dapat dirender secara real-time dengan texel hingga 16x lebih banyak daripada pendekatan BC. Biaya render 4K adalah 1,15 md yang lebih tinggi dari 0,49 md (diukur pada RTX 4090). Informasi lebih lanjut akan disajikan di SIGGRAPH 2023 pada 6 Agustus.
Sumber: NVIDIA
