Neural Texture Compression firmy NVIDIA do kompresji tekstur materiałów
Badacze NVIDIA opracowali nowatorski algorytm kompresji tekstur materiałów.
W artykule zatytułowanym „Random-Access Neural Compression of Material Textures” firma NVIDIA przedstawia nowy algorytm kompresji tekstur. Prace są ukierunkowane na rosnące wymagania dotyczące pamięci komputera, która obecnie przechowuje tekstury o wysokiej rozdzielczości, a także wiele związanych z nimi właściwości i atrybutów, aby renderować materiały o wysokiej wierności i naturalnie wyglądającym.
Mówi się, że NTC zapewnia 4 razy wyższą rozdzielczość (16 tekseli więcej) niż BC (Block Compression), która jest standardową kompresją tekstur opartą na GPU i dostępną w wielu formatach. Algorytm NVIDII przedstawia tekstury jako tensory (trójwymiarowe), ale bez żadnych założeń, takich jak kompresja blokowa (takich jak liczba kanałów). Jedyną rzeczą, którą NTC zakłada, jest to, że każda tekstura ma ten sam rozmiar.
Losowy i lokalny dostęp jest ważną cechą NTC. W przypadku kompresji tekstur GPU niezwykle ważne jest, aby dostęp do tekstur był możliwy przy niewielkich kosztach i bez opóźnień, nawet przy zastosowaniu wysokich współczynników kompresji. Te badania koncentrują się na kompresji wielu kanałów i mipmap (tekstur o różnych rozmiarach) razem. Dzięki temu artykuł twierdzi, że jakość i przepływność są lepsze niż formaty JPEG XL lub AVIF.
Random-Access Neural Compression of Material Textures, NVIDIA
Ciągłemu postępowi fotorealizmu w renderowaniu towarzyszy wzrost ilości danych dotyczących tekstur, a co za tym idzie wzrost zapotrzebowania na pamięć masową i pamięć. Aby rozwiązać ten problem, proponujemy nowatorską technikę kompresji neuronowej, zaprojektowaną specjalnie dla tekstur materiałów. Odblokowujemy dwa kolejne poziomy szczegółowości, czyli 16× więcej tekseli, stosując kompresję o niskiej przepływności, z jakością obrazu lepszą niż zaawansowane techniki kompresji obrazu, takie jak AVIF i JPEG XL. Jednocześnie nasza metoda pozwala na dekompresję na żądanie w czasie rzeczywistym z dostępem losowym, podobnie jak kompresja tekstur blokowych na procesorach graficznych. Rozszerza to nasze korzyści z kompresji na całą drogę od pamięci dyskowej do pamięci. Kluczową ideą naszego podejścia jest kompresja wielu tekstur materiałów i ich łańcuchów mipmap oraz użycie małej sieci neuronowej, zoptymalizowanej dla każdego materiału, do ich dekompresji. Wreszcie, używamy niestandardowej implementacji szkoleniowej, aby osiągnąć praktyczne prędkości kompresji, których wydajność przewyższa ogólne ramy, takie jak PyTorch, o rząd wielkości.
— Random-Access Neural Compression of Material Textures, NVIDIA
W przeciwieństwie do zwykłych algorytmów BCx, które wymagają niestandardowego sprzętu, ten algorytm wykorzystuje metody mnożenia macierzy, które są teraz przyspieszane przez nowoczesne procesory graficzne. Według artykułu czyni to algorytm NTC bardziej praktycznym i bardziej wydajnym ze względu na mniejsze ograniczenia dysku i pamięci.
Random-Access Neural Compression of Material Textures, NVIDIA
Według artykułu, tekstury neuronowe mogą być renderowane w czasie rzeczywistym przy użyciu do 16 razy większej liczby tekseli niż w przypadku metody BC. Koszt renderowania 4K to 1,15 ms, czyli więcej niż 0,49 ms (zmierzone na RTX 4090). Więcej informacji zostanie przedstawionych na konferencji SIGGRAPH 2023 6 sierpnia.
Źródło: NVIDIA
