用於材料紋理壓縮的 NVIDIA 神經紋理壓縮
NVIDIA 研究人員開發了一種用於材料紋理的新型壓縮算法。
在題為“材質紋理的隨機訪問神經壓縮”的論文中，NVIDIA 提出了一種新的紋理壓縮算法。這項工作的目標是對計算機內存日益增長的需求，它現在存儲高分辨率紋理以及附加到它們的許多屬性和屬性，以呈現高保真和自然外觀的材料。
據說 NTC提供比 BC（塊壓縮）高 4 倍的分辨率（多 16 個紋素），這是一種基於 GPU 的標準紋理壓縮，可用於多種格式。 NVIDIA 的算法將紋理表示為張量（三維），但沒有像塊壓縮那樣的任何假設（例如通道數）。 NTC 唯一假設的是每個紋理都具有相同的大小。
隨機和本地訪問是 NTC 的一個重要特徵。對於 GPU 紋理壓縮，最重要的是即使在應用高壓縮率時，也可以無延遲地以較小的成本訪問紋理。這項研究的重點是將許多通道和 mipmap（不同大小的紋理）壓縮在一起。通過這樣做，該論文聲稱質量和比特率優於 JPEG XL 或 AVIF 格式。
材質紋理的隨機訪問神經壓縮，NVIDIA
渲染中照片級真實感的不斷進步伴隨著紋理數據的增長，從而增加了存儲和內存需求。為了解決這個問題，我們提出了一種專門為材質紋理設計的新型神經壓縮技術。我們解鎖了兩個以上的細節級別，即 16 倍以上的紋素，使用低比特率壓縮，圖像質量優於高級圖像壓縮技術，如 AVIF 和 JPEG XL。同時，我們的方法允許按需實時解壓縮和隨機訪問，類似於 GPU 上的塊紋理壓縮。這將我們的壓縮優勢從磁盤存儲擴展到內存。我們方法背後的關鍵思想是將多個材質紋理及其 mipmap 鏈壓縮在一起，並使用針對每種材質優化的小型神經網絡來解壓縮它們。最後，我們使用自定義訓練實現來實現實用的壓縮速度，其性能超過 PyTorch 等通用框架一個數量級。
— 材質紋理的隨機訪問神經壓縮，NVIDIA
與需要定制硬件的常見 BCx 算法不同，此算法使用矩陣乘法方法，現在現代 GPU 對其進行了加速。根據該論文，由於較低的磁盤和內存限制，這使得 NTC 算法更實用、更強大。
材質紋理的隨機訪問神經壓縮，NVIDIA
根據該論文，可以使用比 BC 方法多 16 倍的紋素實時渲染神經紋理。 4K 渲染的成本為 1.15 毫秒，高於 0.49 毫秒（在 RTX 4090 上測量）。更多信息將在 8 月 6 日的 SIGGRAPH 2023 上公佈。
資料來源:NVIDIA