除了推出 Bergamo 和 Genoa-X,AMD 的人工智能日還展示了新的 AMD-Pensando DPU 產品,並預覽了更多下一代 Instinct MI300 加速器 APU。

Hugging Face 首席執行官克萊門特·德朗格 (Clément Delangue) 也出席了 AMD AI 日活動,談論開放科學和開源在 AI 世界中的重要性。 Hugging Face 和 AMD 還建立了合作夥伴關係,以確保 AMD 對其軟件和託管模型、AMD 硬件上的 CI/CD 等的全面支持。

具有 24 個 Zen 4 內核、128GB HBM3 內存和 CDNA3 的 AMD Instinct MI300A 現已向客戶提供樣品。 AMD 還宣布了 Instinct MI300X 作為 CDNA3 的 GPU-only 版本,具有 192GB HBM3 內存,專注於處理大型語言模型。

AMD Instinct MI300X 在完全在內存中運行的單個 MI300X 上使用 Falcon-40B 大型語言模型進行了演示。單個 MI300X 可以處理多達約 800 億個參數的大型語言模型。

Lisa 還在 OCP 基礎架構平台中引入了帶有八個 MI300X 的 AMD Instinct 平台,並提供 1.5TB 的 HBM3 內存來處理非常大的 AI LLM。

自本季度初以來,Instinct MI300A 一直在向 HPC/AI 客戶提供樣品。 MI300X 和 AMD Instinct 平台將於第三季度開始出樣。預計第 4 季度全面投產。

Categories: IT Info