NVIDIA’s Neural Texture Compression สำหรับการบีบอัดพื้นผิววัสดุ
นักวิจัยของ NVIDIA ได้พัฒนาอัลกอริธึมการบีบอัดแบบใหม่สำหรับพื้นผิววัสดุ
ในบทความเรื่อง “Random-Access Neural Compression of Material Textures” NVIDIA นำเสนออัลกอริธึมใหม่สำหรับการบีบอัดพื้นผิว งานนี้กำหนดเป้าหมายความต้องการที่เพิ่มขึ้นสำหรับหน่วยความจำคอมพิวเตอร์ ซึ่งปัจจุบันจัดเก็บพื้นผิวที่มีความละเอียดสูง ตลอดจนคุณสมบัติและคุณสมบัติต่างๆ ที่แนบมากับพื้นผิวเหล่านั้น เพื่อสร้างวัสดุที่มีความแม่นยำสูงและดูเป็นธรรมชาติ
กทช. ได้รับการกล่าวขานถึง ให้ความละเอียดสูงกว่า BC (Block Compression) ถึง 4 เท่า (16 texel) ซึ่งเป็นการบีบอัดพื้นผิวที่ใช้ GPU มาตรฐานในหลายรูปแบบ อัลกอริทึมของ NVIDIA แสดงพื้นผิวเป็นเทนเซอร์ (สามมิติ) แต่ไม่มีข้อสันนิษฐานใด ๆ เช่นในการบีบอัดบล็อก (เช่น จำนวนช่องสัญญาณ) สิ่งเดียวที่กทชสันนิษฐานคือแต่ละพื้นผิวมีขนาดเท่ากัน
การเข้าถึงแบบสุ่มและแบบโลคัลเป็นคุณสมบัติที่สำคัญของกทช. สำหรับการบีบอัดพื้นผิว GPU สิ่งสำคัญที่สุดคือการเข้าถึงพื้นผิวด้วยค่าใช้จ่ายเพียงเล็กน้อยโดยไม่ล่าช้า แม้ว่าจะใช้อัตราการบีบอัดสูงก็ตาม งานวิจัยนี้มุ่งเน้นไปที่การบีบอัดช่องสัญญาณและ mipmaps (พื้นผิวที่มีขนาดต่างกัน) จำนวนมากเข้าด้วยกัน เอกสารดังกล่าวอ้างว่าคุณภาพและบิตเรตดีกว่ารูปแบบ JPEG XL หรือ AVIF
Random-Access Neural Compression of Material Textures, NVIDIA
ความก้าวหน้าอย่างต่อเนื่องของการเรนเดอร์ภาพถ่ายเสมือนจริงนั้นมาพร้อมกับการเติบโตของข้อมูลพื้นผิว และเป็นผลให้ความต้องการพื้นที่เก็บข้อมูลและหน่วยความจำเพิ่มขึ้น เพื่อแก้ไขปัญหานี้ เราขอเสนอเทคนิคการบีบอัดประสาทรูปแบบใหม่ที่ออกแบบมาสำหรับพื้นผิววัสดุโดยเฉพาะ เราปลดล็อกรายละเอียดอีกสองระดับ นั่นคือ เท็กเซลมากขึ้น 16 เท่า โดยใช้การบีบอัดบิตเรตต่ำ พร้อมคุณภาพของภาพที่ดีกว่าเทคนิคการบีบอัดภาพขั้นสูง เช่น AVIF และ JPEG XL ในขณะเดียวกัน วิธีการของเราก็อนุญาตให้คลายการบีบอัดตามเวลาจริงตามต้องการด้วยการเข้าถึงแบบสุ่มที่คล้ายกับการบีบอัดพื้นผิวบล็อกบน GPU สิ่งนี้ขยายประโยชน์ในการบีบอัดของเราตั้งแต่ที่เก็บข้อมูลดิสก์ไปจนถึงหน่วยความจำ แนวคิดหลักที่อยู่เบื้องหลังวิธีการของเราคือการบีบอัดพื้นผิวของวัสดุหลาย ๆ ชนิดและโซ่ mipmap เข้าด้วยกัน และใช้โครงข่ายประสาทเทียมขนาดเล็กที่ปรับให้เหมาะกับวัสดุแต่ละชนิดเพื่อคลายการบีบอัด สุดท้าย เราใช้การดำเนินการฝึกอบรมแบบกำหนดเองเพื่อให้ได้ความเร็วการบีบอัดที่ใช้งานได้จริง ซึ่งมีประสิทธิภาพเหนือกว่าเฟรมเวิร์กทั่วไป เช่น PyTorch ตามลำดับความสำคัญ
— Random-Access Neural Compression of Material Textures, NVIDIA
ไม่เหมือนกับอัลกอริทึม BCx ทั่วไป ซึ่งต้องใช้ฮาร์ดแวร์แบบกำหนดเอง อัลกอริทึมนี้ใช้วิธีการคูณเมทริกซ์ ซึ่งปัจจุบันได้รับการเร่งโดย GPU สมัยใหม่ ตามรายงานนี้ทำให้อัลกอริทึม NTC ใช้งานได้จริงและมีความสามารถมากขึ้นเนื่องจากข้อจำกัดของดิสก์และหน่วยความจำที่ต่ำกว่า
Random-Access Neural Compression of Material Textures, NVIDIA
จากผลการวิจัย พื้นผิวประสาทสามารถแสดงผลแบบเรียลไทม์โดยใช้เท็กเซลมากกว่าวิธี BC ถึง 16 เท่า ค่าใช้จ่ายในการเรนเดอร์ 4K คือ 1.15 มิลลิวินาที ซึ่งสูงกว่า 0.49 มิลลิวินาที (วัดบน RTX 4090) ข้อมูลเพิ่มเติมจะนำเสนอที่ SIGGRAPH 2023 ในวันที่ 6 สิงหาคม
ที่มา: NVIDIA
