Intel hat ein umfangreiches Update seines wunderbaren Open-Source-Toolkits OpenVINO zur Optimierung und Bereitstellung von KI-Inferenz veröffentlicht. OpenVINO eignet sich weiterhin hervorragend für die Optimierung und Ausführung von KI-Modellen auf unterschiedlicher Hardware und führt weiterhin neue Funktionen ein.
Die OpenVINO 2023.0-Version ermöglicht jetzt das direkte Laden von TensorFlow-und TensorFlow Lite-Modellen in die OpenVINO Runtime und den OpenVINO Model Server. Das direkte Laden der TF/TF-Lite-Modelle führt zu einer automatischen Konvertierung der Modelle, die Entwickler empfehlen jedoch dennoch, vorab in OpenVINO IR zu konvertieren. Es gibt auch experimentelle Unterstützung für das direkte Laden von PyTorch-Modellen, ohne dass zunächst eine Konvertierung in ONNX erforderlich ist.
OpenVINO 2023.0 ist auch insofern von Bedeutung, als es jetzt die neueste Python 3.11-Serie unterstützt, ARM-Prozessorunterstützung im OpenVINO CPU-Plug-in einschließlich offizieller Unterstützung für den Raspberry Pi 4 und Apple M1/M2, und breitere Modellunterstützung und verschiedene neue Optimierungen.
Das OpenVINO 2023.0 CPU-Plug-in bietet außerdem Thread-Planungsunterstützung für Intel-Hybrid-CPUs von Alder Lake 12th Gen Core und neuer. Mit dieser Thread-Planung können Sie wählen, ob Sie die Inferenz nur auf E-oder P-Kernen oder auf einer Kombination aus energieeffizienten und leistungsstarken Kernen ausführen möchten. OpenVINO 2023.0 verfügt außerdem über eine neue Standard-Inferenzgenauigkeit, bei der OpenVINO standardmäßig das Format verwendet, das eine optimale Leistung ermöglicht, z. B. BF16 auf den neuesten skalierbaren Intel Xeon CPUs oder FP16 beim Umgang mit GPUs.
Downloads und weitere Details zur OpenVINO 2023.0-Version über GitHub.
