AMD Instinct MI300X, una potencia para modelos de lenguaje grande de IA
AMD revela cuánta energía requiere el MI300X.
El diseño basado en OAM (módulo acelerador OCP) del procesador de gráficos MI300X aparece con 750 W en las diapositivas de AMD. Esto no fue mencionado en los primeros informes que cubrían el día de presentación a principios de esta semana. Los requisitos de energía de esta placa se detectaron en las notas al pie después del evento.
AMD desarrolló una versión especial de su acelerador de la serie MI300 exclusivamente con mosaicos CDNA3. Este acelerador se ofrecerá junto con MI300A, la denominada APU de exaescala del centro de datos, que cuenta con 24 núcleos Zen4 combinados con mosaicos de GPU.
El MI300X ha aumentado los mosaicos de núcleo de GPU y tiene más memoria (192 GB) gracias a las pilas HBM3 de 24 GB introducidas recientemente. La potencia bruta de la GPU combinada con una gran cantidad de memoria ha contribuido a una mayor potencia que ahora alcanza los 750 W para un módulo OAM. Esto es más que el MI250X de última generación (CDNA2) que solo subió a 560 W.
Instinct MI300WX TBP, fuente: AMD
En el pasado En los últimos años, los requisitos de energía para los productos de centros de datos de GPU han aumentado. NVIDIA H100 SXM GPU TDP sube a 700 W y 350 W para la versión PCIe refrigerada por aire. La versión PCIe de la GPU Intel Max 1550 Data Center basada en el silicio Ponte Vecchio también requiere al menos 600 W de potencia.
La denominación de los requisitos de potencia y los diseños varía según el fabricante. Es posible que las características de potencia como TDP, TBP o Power Envelope no siempre signifiquen lo mismo. Pero lo importante es que la rivalidad de GPU en el espacio del centro de datos acaba de comenzar, así que quién sabe si pronto veremos especificaciones de potencia aún más altas en las diapositivas oficiales.
Fuente: AMD vía Hoang Anh Phu