マテリアル テクスチャ圧縮のための NVIDIA のニューラル テクスチャ圧縮
NVIDIA の研究者は、マテリアル テクスチャのための新しい圧縮アルゴリズムを開発しました。
「マテリアル テクスチャのランダム アクセス ニューラル圧縮」というタイトルの論文で、NVIDIA はテクスチャ圧縮の新しいアルゴリズムを提示しています。この作業は、コンピュータ メモリの要件の増加をターゲットにしています。コンピュータ メモリは現在、高解像度のテクスチャとそれに付随する多くのプロパティと属性を格納して、忠実度の高い自然な外観のマテリアルをレンダリングしています。
NTC は、多くのフォーマットで利用可能な標準の GPU ベースのテクスチャ圧縮である BC (ブロック圧縮) よりも 4 倍高い解像度 (16 テクセル多い) を提供します。 NVIDIA のアルゴリズムは、テクスチャをテンソル (3 次元) として表しますが、ブロック圧縮のような仮定 (チャネル数など) はありません。 NTC が想定しているのは、各テクスチャが同じサイズであるということだけです。
ランダム アクセスとローカル アクセスは、NTC の重要な機能です。 GPU テクスチャ圧縮では、高い圧縮率が適用された場合でも、テクスチャに低コストで遅延なくアクセスできることが最も重要です。この研究は、多くのチャンネルとミップマップ (さまざまなサイズのテクスチャ) を一緒に圧縮することに焦点を当てており、そうすることで、品質とビットレートが JPEG XL または AVIF 形式よりも優れていると論文は主張しています。
マテリアル テクスチャのランダム アクセス ニューラル圧縮、NVIDIA
レンダリングにおけるフォトリアリズムの継続的な進歩には、テクスチャ データの増加が伴い、その結果、ストレージとメモリの需要が増加しています。この問題に対処するために、マテリアルテクスチャ用に特別に設計された新しいニューラル圧縮技術を提案します。 AVIF や JPEG XL などの高度な画像圧縮技術よりも優れた画質で、低ビットレート圧縮を使用して、さらに 2 レベルの詳細、つまり 16 倍のテクセルを解き放ちます。同時に、私たちの方法では、GPU でのブロック テクスチャ圧縮と同様のランダム アクセスによるオンデマンドのリアルタイム解凍が可能です。これにより、圧縮のメリットがディスク ストレージからメモリにまで拡大されます。私たちのアプローチの背後にある重要なアイデアは、複数のマテリアル テクスチャとそのミップマップ チェーンをまとめて圧縮し、各マテリアルに最適化された小さなニューラル ネットワークを使用してそれらを解凍することです。最後に、カスタム トレーニングの実装を使用して、実用的な圧縮速度を達成します。そのパフォーマンスは、PyTorch などの一般的なフレームワークを 1 桁上回ります。
— マテリアル テクスチャのランダム アクセス ニューラル圧縮、NVIDIA
カスタム ハードウェアを必要とする一般的な BCx アルゴリズムとは異なり、このアルゴリズムは、最新の GPU によって高速化された行列乗算法を利用します。この論文によると、これにより、ディスクとメモリの制約が少なくなるため、NTC アルゴリズムがより実用的で機能しやすくなります。
マテリアル テクスチャのランダム アクセス ニューラル圧縮、NVIDIA
この論文によると、ニューラル テクスチャは、BC アプローチの最大 16 倍のテクセルでリアルタイムにレンダリングできます。 4K レンダリングのコストは 1.15ms で、0.49ms よりも高くなります (RTX 4090 で測定)。詳細は、8 月 6 日の SIGGRAPH 2023 で発表されます。
出典: NVIDIA
