Naast de lancering van Bergamo en Genoa-X, presenteerde AMD’s AI Day ook het nieuwe AMD-Pensando DPU-aanbod en ook meer van hun next-gen Instinct MI300 accelerator APU.
Clément Delangue, CEO van Hugging Face, was ook aanwezig op het AMD AI Day-evenement om te praten over het belang van open wetenschap en open source in de wereld van AI. Hugging Face en AMD zijn ook een partnerschap aangegaan om in de toekomst volledige AMD-ondersteuning te garanderen voor hun software en gehoste modellen, CI/CD op AMD-hardware, enz.
De AMD Instinct MI300A met 24 Zen 4 cores, 128 GB HBM3-geheugen en CDNA3 wordt nu gesampled bij klanten. AMD kondigde ook de Instinct MI300X aan als een GPU-versie van CDNA3 met 192 GB HBM3-geheugen en gericht op het omgaan met grote taalmodellen.
De AMD Instinct MI300X werd gedemonstreerd met het Falcon-40B grote taalmodel op een enkele MI300X die volledig in het geheugen draait. Een enkele MI300X kan grote taalmodellen tot ongeveer 80 miljard parameters aan.
Lisa introduceerde ook het AMD Instinct Platform met acht MI300X binnen een OCP-infrastructuurplatform en biedt 1,5 TB HBM3-geheugen voor het verwerken van zeer grote AI LLM’s.
De Instinct MI300A wordt sinds eerder dit kwartaal gesampled bij HPC/AI-klanten. De MI300X en het AMD Instinct Platform beginnen met samplen in Q3. Volledige productieramp wordt verwacht in Q4.