A Intel lançou uma grande atualização para seu maravilhoso kit de ferramentas OpenVINO de código aberto para otimizar e implantar a inferência de IA. O OpenVINO continua funcionando muito bem para otimizar e executar modelos de IA em uma variedade de hardware e continua a introduzir novos recursos.
A versão OpenVINO 2023.0 agora permite que os modelos TensorFlow e TensorFlow Lite sejam carregados diretamente no OpenVINO Runtime e OpenVINO Model Server. Carregar os modelos TF/TF-Lite diretamente fará com que os modelos sejam convertidos automaticamente, mas os desenvolvedores ainda recomendam a conversão para OpenVINO IR com antecedência. Também há suporte experimental para carregar modelos PyTorch diretamente, sem primeiro ter que converter para ONNX.
O OpenVINO 2023.0 também é significativo porque agora oferece suporte à mais recente série Python 3.11, suporte ao processador ARM no plug-in da CPU OpenVINO, incluindo suporte oficial para Raspberry Pi 4 e Apple M1/M2, e suporte de modelo mais amplo e várias novas otimizações.
O plug-in de CPU OpenVINO 2023.0 também adiciona suporte de agendamento de thread para CPUs híbridas Intel de Alder Lake 12th Gen Core e mais recentes. Com esse agendamento de encadeamento, você pode optar por executar a inferência apenas nos núcleos E ou P ou em uma combinação dos núcleos de alto desempenho e eficiência energética. O OpenVINO 2023.0 também possui uma nova precisão de inferência padrão, na qual o OpenVINO assumirá como padrão o formato que permite desempenho ideal, como BF16 no mais recente Intel Xeon Scalable Cpus ou FP16 ao lidar com GPUs.
Downloads e mais detalhes sobre a versão OpenVINO 2023.0 via GitHub.
