Más allá del lanzamiento de Bergamo y Genoa-X, el Día de la IA de AMD también mostró las nuevas ofertas de DPU de AMD-Pensando y también presentó una vista previa de más de su APU aceleradora Instinct MI300 de próxima generación.
El CEO de Hugging Face, Clément Delangue, también estuvo en el evento AMD AI Day para hablar sobre la importancia de la ciencia abierta y el código abierto en el mundo de la IA. Hugging Face y AMD también formaron una asociación para garantizar el soporte completo de AMD en el futuro para su software y modelos alojados, CI/CD en hardware AMD, etc.
El AMD Instinct MI300A con 24 núcleos Zen 4, 128 GB de memoria HBM3 y CDNA3 ahora se muestra a los clientes. AMD también anunció el Instinct MI300X como una versión solo de GPU de CDNA3 con 192 GB de memoria HBM3 y enfocada en manejar modelos de lenguaje grande.
El AMD Instinct MI300X se demostró con el modelo de lenguaje grande Falcon-40B en un solo MI300X que se ejecuta completamente en la memoria. Un solo MI300X puede manejar grandes modelos de lenguaje hasta aproximadamente 80 mil millones de parámetros.
Lisa también presentó la plataforma AMD Instinct con ocho MI300X dentro de una plataforma de infraestructura OCP y proporciona 1,5 TB de memoria HBM3 para manejar LLM de IA muy grandes.
El Instinct MI300A ha estado probando desde principios de este trimestre para clientes de HPC/IA. El MI300X y la plataforma AMD Instinct comenzarán a probarse en el tercer trimestre. Se espera una rampa de producción completa en el cuarto trimestre.