画像: NVIDIA
「ランダム-マテリアル テクスチャのニューラル圧縮にアクセスします。 NVIDIA の研究者が共有した比較画像によると、NTC は BC (ブロック圧縮) ハイ方式と比較して 4 倍高い解像度を提供します。メモリが少ない。将来の GeForce GPU に限定されるかどうかは別として、新しい圧縮方式のその他の比較については、こちら。
NVIDIA Research の要約より:
レンダリングにおけるフォトリアリズムの継続的な進歩には、テクスチャ データの増加が伴い、その結果、ストレージとメモリの需要が増加しています。この問題に対処するために、マテリアルテクスチャ用に特別に設計された新しいニューラル圧縮技術を提案します。 AVIF や JPEG XL などの高度な画像圧縮技術よりも優れた画質で、低ビットレート圧縮を使用して、さらに 2 レベルの詳細、つまり 16 倍のテクセルを解き放ちます。同時に、私たちの方法では、GPU でのブロック テクスチャ圧縮と同様のランダム アクセスによるオンデマンドのリアルタイム解凍が可能になり、ディスクとメモリでの圧縮が可能になります。
私たちのアプローチの背後にある重要なアイデアは複数のマテリアル テクスチャとそのミップマップ チェーンを一緒に圧縮し、各マテリアルに最適化された小さなニューラル ネットワークを使用してそれらを解凍します。最後に、カスタム トレーニングの実装を使用して、PyTorch などの一般的なフレームワークのパフォーマンスを桁違いに上回る実用的な圧縮速度を実現します。
画像: NVIDIA
フォーラムでこの投稿に関するディスカッションに参加してください…