NVIDIA apresenta GPU de núcleo tensor A2, oferece 20 por cento mais desempenho de inferência do que CPUs

Imagem: NVIDIA

A NVIDIA apresentou hoje sua GPU A2 Tensor Core, uma GPU básica que é capaz de fornecer 20 por cento a mais de inferência desempenho do que CPUs, apesar de seu baixo consumo de energia e pequeno tamanho. A inferência é um componente do processo de Aprendizado Profundo por meio do qual os modelos treinados desenvolvidos durante a fase de treinamento (ou seja, coleta de fatos ou aprendizado) são realmente aplicados e processados em um aplicativo. A GPU A2 Tensor Core da NVIDIA oferece até 1,3x mais desempenho em vários casos de uso de ponta inteligentes para essa finalidade.

Da NVIDIA:

Versatilidade, tamanho compacto e baixo do A2 o poder excede as demandas para implantações de ponta em escala, atualizando instantaneamente os servidores de CPU de nível básico existentes para lidar com a inferência. Os servidores acelerados com GPUs A2 oferecem maior desempenho de inferência em comparação com CPUs e implementações de análise de vídeo inteligente (IVA) mais eficientes do que as gerações anteriores de GPU-tudo a um preço de entrada. […]

A inferência de IA é implantada para tornar a vida do consumidor mais conveniente por meio de experiências em tempo real e permite que eles obtenham insights sobre trilhões de sensores e câmeras de endpoint. Em comparação com servidores apenas de CPU, os servidores construídos com GPU NVIDIA A2 Tensor Core oferecem até 20X mais desempenho de inferência, atualizando instantaneamente qualquer servidor para lidar com IA moderna.

Especificações A2 Tensor Core

Pico FP324.5 TFTF32 Tensor Core9 TF | 18 TFBFLOAT16 Tensor Core18 TF | 36 TFPeak FP16 Tensor Core18 TF | 36 TFPeak INT8 Tensor Core36 TOPS | 72 TOPSPeak INT4 Tensor Core72 TOPS | 144 TOPSRT Cores10Media engines1 codificador de vídeo
2 decodificadores de vídeo (inclui decodificação AV1) Memória GPU 16GB GDDR6GPU memória largura de banda200GB/sInterconnectPCIe Gen4 x8Form factor1-slot, baixo perfil PCIeMax poder de design térmico (TDP) 40–60W (configurável) GPU virtual (vGPU ) suporte de softwareNVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS)

Fonte: NVIDIA