Środowisko uruchomieniowe DeepSparse AI firmy Neural Magic nadal dąży do „wydajności procesora klasy GPU”, a dzięki nowej wersji DeepSparse 1.5 zapewnia jeszcze większą wydajność wnioskowania o procesorze.
DeepSparse oferuje wiodącą wydajność wnioskowania opartą na procesorze i świetnie go wykorzystałem na procesorach Intel i AMD oraz często używam go w moich Testy porównawcze procesora arsenał. Jestem podekscytowany widząc, że dzięki DeepSparse 1.5 jest jeszcze więcej ulepszeń wydajności. Informacje o wydaniu DeepSparse 1.5 wskazują na następujące ulepszenia wydajności:
-Opóźnienie wnioskowania dla nieustrukturyzowanych, rzadkich, kwantyzowanych CNN zostało poprawione nawet dwukrotnie.
-Przepustowość wnioskowania i opóźnienia dla gęstych sieci CNN zostały poprawione nawet o 20%.
-Przepustowość wnioskowania i opóźnienia dla gęstych transformatorów zostały poprawione nawet o 30%.
-Następujące operatory są teraz obsługiwane w celu zwiększenia wydajności:
Neg, Unsqueeze z niestałymi danymi wejściowymi
MatMulInteger z dwoma niestałymi danymi wejściowymi
GEMM ze stałymi wagami i danymi wejściowymi 4D lub 5D
DeepSparse 1.5 dodaje również potok oceny ONNX dla OpenPiPaf, potoki segmentacji YOLOv8, obsługę używania hwloc do określania topologii procesora w celu poprawy wydajności wewnątrz klastrów Kubernetes oraz różne inne ulepszenia. Z drugiej strony, DeepSparse 1.5 nadal nie obsługuje Pythona 3.11.
Pobieranie (jeśli nie używasz pip) i więcej szczegółów na temat wydania Neural Magic DeepSparse 1.5 z GitHub.