Neural Magic 的 DeepSparse AI 推理運行時繼續追求“CPU 上的 GPU 級性能”，並且隨著新的 DeepSparse 1.5 版本的發布，為 CPU 推理提供了更快的性能。
DeepSparse 提供領先的基於 CPU 的推理性能，我在 Intel 和 AMD CPU 上充分利用了它，並且在我的 CPU 基準測試 庫。我很高興看到 DeepSparse 1.5 有更多的性能改進。 DeepSparse 1.5 發行說明提出了以下性能改進:
-非結構化稀疏量化 CNN 的推理延遲已提高多達 2 倍。
-密集 CNN 的推理吞吐量和延遲提高了多達 20%。
-密集變換器的推理吞吐量和延遲提高了多達 30%。
-現在支持以下運算符以提高性能:
Neg, Unsqueeze with non-constant inputs
MatMulInteger with two non-constant inputs
GEMM with constant weights and 4D or 5D inputs
DeepSparse 1.5 還添加了用於 OpenPiPaf 的 ONNX 評估管道、YOLOv8 分割管道、支持使用 hwloc 確定 CPU 拓撲以提高 Kubernetes 集群內部的性能，以及各種其他增強功能。不利的一面是，DeepSparse 1.5 似乎仍不支持 Python 3.11。
通過 GitHub。
