NVIDIA’s Neural Texture Compression para sa material texture compression
Nakabuo ang mga mananaliksik ng NVIDIA ng isang nobelang compression algorithm para sa mga materyal na texture.
Sa isang papel na pinamagatang”Random-Access Neural Compression of Material Textures”, ang NVIDIA ay nagpapakita ng bagong algorithm para sa texture compression. Tina-target ng trabaho ang dumaraming mga kinakailangan para sa memorya ng computer, na ngayon ay nag-iimbak ng mga texture na may mataas na resolution pati na rin ang maraming mga katangian at katangian na nakalakip sa mga ito upang mag-render ng high-fidelity at natural-looking na mga materyales.
Ang NTC ay sinasabing maghatid ng 4 na beses na mas mataas na resolution (16 pang texel) kaysa sa BC (Block Compression), na isang karaniwang GPU-based na texture compression na available sa maraming format. Ang algorithm ng NVIDIA ay kumakatawan sa mga texture bilang mga tensor (tatlong dimensyon), ngunit walang anumang mga pagpapalagay tulad ng sa block compression (tulad ng bilang ng channel). Ang tanging bagay na ipinapalagay ng NTC ay ang bawat texture ay may parehong laki.
Ang random at lokal na pag-access ay isang mahalagang tampok ng NTC. Para sa GPU texture compression, napakahalaga na ma-access ang mga texture sa maliit na halaga nang walang pagkaantala, kahit na ang mataas na rate ng compression ay inilapat. Nakatuon ang pananaliksik na ito sa pag-compress ng maraming channel at mipmaps (mga texture ng iba’t ibang laki) nang magkasama. Sa paggawa nito, sinasabi ng papel na ang kalidad at bitrate ay mas mahusay kaysa sa JPEG XL o AVIF na mga format.
Random-Access Neural Compression of Material Textures, NVIDIA
Ang tuluy-tuloy na pagsulong ng photorealism sa pag-render ay sinamahan ng paglaki ng texture data at, dahil dito, ang pagtaas ng storage at memory demands. Upang matugunan ang isyung ito, nagmumungkahi kami ng isang nobelang neural compression technique na partikular na idinisenyo para sa mga materyal na texture. Nag-a-unlock kami ng dalawa pang antas ng detalye, ibig sabihin, 16x na higit pang mga texel, gamit ang mababang bitrate na compression, na may kalidad ng larawan na mas mahusay kaysa sa mga advanced na diskarte sa pag-compress ng larawan, gaya ng AVIF at JPEG XL. Kasabay nito, nagbibigay-daan ang aming pamamaraan para sa on-demand, real-time na decompression na may random na pag-access na katulad ng block texture compression sa mga GPU. Pinapalawak nito ang aming mga benepisyo sa compression mula sa imbakan ng disk hanggang sa memorya. Ang pangunahing ideya sa likod ng aming diskarte ay ang pag-compress ng maraming materyal na texture at ang kanilang mga mipmap chain nang magkasama, at paggamit ng isang maliit na neural network, na na-optimize para sa bawat materyal, upang i-decompress ang mga ito. Panghuli, gumagamit kami ng custom na pagpapatupad ng pagsasanay upang makamit ang mga praktikal na bilis ng compression, na ang pagganap ay lumalampas sa pangkalahatang mga framework, tulad ng PyTorch, sa isang pagkakasunud-sunod ng magnitude.
— Random-Access Neural Compression of Material Textures, NVIDIA
Hindi tulad ng mga karaniwang BCx algorithm, na nangangailangan ng custom na hardware, ginagamit ng algorithm na ito ang mga pamamaraan ng matrix multiplication, na pinabilis na ngayon ng mga modernong GPU. Ayon sa papel, ginagawa nitong mas praktikal at mas may kakayahan ang NTC algorithm dahil sa mas mababang disk at memory constraints.
Random-Access Neural Compression of Material Textures, NVIDIA
Ayon sa papel, ang mga neural texture ay maaaring i-render sa real-time na may hanggang 16x na mas texel kaysa sa BC na diskarte. Ang halaga ng 4K render ay 1.15ms na mas mataas sa 0.49ms (sinusukat sa RTX 4090). Higit pang impormasyon ang ipapakita sa SIGGRAPH 2023 sa Agosto 6.
Source: NVIDIA