Tidak dapat disangkal AI Juggernaut yang telah menjadi NVIDIA selama beberapa tahun terakhir, GPU mereka telah menjadi pilihan pilihan tidak hanya untuk HPC tetapi juga untuk pusat data, termasuk ekosistem AI & Deep Learning. Baru-baru ini, NVIDIA mengumumkan bahwa mereka memanfaatkan AI untuk merancang & mengembangkan GPU yang jauh lebih unggul daripada yang dibuat oleh manusia dan sepertinya GPU Hopper andalan tim hijau adalah kesaksian dari pernyataan tersebut yang menampilkan hampir 13.000 instance sirkuit yang seluruhnya dibuat oleh AI.
GPU Hopper NVIDIA, Chip AI Tercepat di Dunia, Dibuat Dengan Bantuan AI-Menampilkan Hampir 13.000 Sirkuit Berdesain AI
Dalam blog yang dipublikasikan di halaman web Pengembang NVIDIA , perusahaan mengulangi manfaat dan bagaimana perusahaan itu sendiri memanfaatkan kemampuan AI-nya untuk merancang GPU terhebatnya hingga saat ini, Hopper H100. GPU NVIDIA sebagian besar dirancang menggunakan alat EDA (Electronic Design Automation) yang canggih tetapi dengan bantuan AI yang menggunakan metodologi PrefixRL, optimalisasi Sirkuit Paralel Prefix menggunakan Deep Reinforcement Learning, perusahaan dapat merancang lebih kecil, lebih cepat dan chip yang lebih hemat daya sekaligus memberikan kinerja yang lebih baik.
Sirkuit aritmatika dulunya merupakan keahlian manusia, dan sekarang dirancang oleh AI di GPU NVIDIA. Chip H100 memiliki hampir 13.000 sirkuit yang dirancang AI! Bagaimana ini mungkin? Blog https://t.co/PpKrAmV8vc + utas pic.twitter.com/3RrZl2muJ3
— Rajarshi Roy (@rjrshr) 8 Juli 2022
Sirkuit aritmatika dalam chip komputer dibuat menggunakan jaringan gerbang logika (seperti NAND, NOR, dan XOR) dan kabel. Sirkuit yang diinginkan harus memiliki karakteristik berikut:
Kecil: Area yang lebih rendah sehingga lebih banyak sirkuit dapat dimuat dalam sebuah chip. Cepat: Penundaan yang lebih rendah untuk meningkatkan kinerja chip. Mengkonsumsi lebih sedikit daya: Konsumsi daya chip yang lebih rendah.
NVIDIA menggunakan metodologi ini untuk merancang hampir 13.000 sirkuit berbantuan AI yang menawarkan pengurangan area 25% dibandingkan dengan alat EDA yang secepat dan secara fungsional setara. Tetapi PrefixRL disebutkan sebagai tugas yang sangat menuntut komputasi dan untuk simulasi fisik setiap GPU, dibutuhkan 256 CPU dan lebih dari 32.000 jam GPU. Untuk menghilangkan hambatan ini, NVIDIA mengembangkan Raptor, platform pembelajaran penguatan terdistribusi internal yang memanfaatkan perangkat keras NVIDIA untuk pembelajaran penguatan industri semacam ini.
Raptor memiliki beberapa fitur yang meningkatkan skalabilitas dan kecepatan pelatihan seperti seperti penjadwalan pekerjaan, jaringan kustom, dan struktur data yang sadar akan GPU. Dalam konteks PrefixRL, Raptor memungkinkan distribusi pekerjaan di seluruh campuran CPU, GPU, dan instans Spot.
Jaringan dalam aplikasi pembelajaran penguatan ini beragam dan mendapat manfaat dari hal berikut.
Kemampuan Raptor untuk beralih antara NCCL untuk transfer point-to-point untuk mentransfer parameter model langsung dari GPU pelajar ke GPU inferensi. Redis untuk pesan asinkron dan lebih kecil seperti hadiah atau statistik. RPC yang dikompilasi JIT untuk menangani permintaan volume tinggi dan latensi rendah seperti mengunggah data pengalaman.
NVIDIA menyimpulkan bahwa penerapan AI pada masalah desain sirkuit dunia nyata dapat menghasilkan desain GPU yang lebih baik di masa depan. makalah lengkap diterbitkan di sini dan Anda juga dapat mengunjungi Blog pengembang di sini untuk informasi lebih lanjut.