上個月,高通發布了其 Cloud AI 100 內核驅動程序的更新補丁,以支持該推理加速器。高通工程師當時表示,他們的用戶空間驅動程序和相關編譯器將很快發布。最終,這個開源 AI 推理堆棧的用戶空間部分最近發布了。
Qualcomm 已經推出了他們的 QAIC 用戶模式驅動程序和編譯器,用於連接他們正在開發的內核驅動程序,該驅動程序正在努力進入內核的新“加速”加速器子系統。
通過這個GitHub存儲庫是Cloud AI 100 的用戶模式驅動程序/軟件套件和此存儲庫 有編譯器。這對於讓內核加速器驅動程序主流化至關重要,因為開放用戶空間客戶端與內核驅動程序交互是強制性的。這個里程碑類似於英特爾的 Habana Labs,後者多年來也為其 AI 硬件提供了完全開源的內核和用戶空間堆棧。
Qualcomm 的用戶模式驅動程序和編譯器都發佈在BSD-3-Clause-Clear 許可證。該軟件套件還包括一些示例應用程序,包括用於查詢 QAIC 100 卡和用於將應用程序部署到硬件的工具。
Qualcomm Cloud AI 100 採用 7 納米工藝,配備多達 16 個 AI 內核,在四通道配置中配備高達 32GB 的 LPDDR4x 系統內存,專為從雲端到邊緣的 AI 推理而設計。
既然開源用戶空間代碼可用,我們將看看這是否有助於盡快將“qaic”加速器內核驅動程序納入主線。