Marvell lanza el segundo generador de expansores de memoria CXL, con soporte máximo de 9TB de memoria DDR4

Marvell está apuntando al crecimiento de la demanda que trae la actualización de la infraestructura de inferencia de IA mediante soluciones de expansión de memoria de mayor capacidad y mayor ancho de banda.

Según Bloomberg, el 12 de octubre, Marvell anunció oficialmente los expansores de memoria CXL de segunda generación Structera X 3406 y 3506. La compañía afirma que se trata del primer expansor de memoria CXL 3.2 de seis canales en la industria, con un solo controlador que admite hasta 9 TB de memoria DDR4 o 6 TB de DDR5, lo que supone un aumento del 50% en la cantidad de canales de memoria en comparación con la generación anterior. Se espera que ambos productos comiencen a ofrecer muestras a los clientes en el primer trimestre de 2027.

El lanzamiento está dirigido a abordar el cuello de botella de la memoria cada vez más destacado en cargas de trabajo de inferencia de IA. A medida que los modelos de lenguaje de gran tamaño (LLM) aumentan de escala, las ventanas de contexto se amplían y crecen rápidamente las necesidades de caché KV, la capacidad y ancho de banda de memoria de las arquitecturas de servidores tradicionales están bajo una presión mayor. La memoria se está convirtiendo gradualmente en el factor clave que limita el rendimiento y la eficiencia de la infraestructura de IA.

Empresas como AMD, Arm, Alibaba, Samsung y SK Hynix han expresado su apoyo a los nuevos productos y colaboraciones en el ecosistema.

Actualización de tecnologías clave: más canales, mayor capacidad

Los Structera X 3406 y 3506 han mejorado, sobre la base de la generación anterior, en aspectos como canales de memoria, capacidad de expansión y rendimiento de compresión.

En cuanto a la configuración de memoria, ambos productos admiten seis canales de memoria. En detalle, el modelo 3406 soporta 18 ranuras RDIMM DDR4, permitiendo hasta 9 TB de capacidad máxima; el 3506 admite 12 ranuras RDIMM DDR5, con una capacidad máxima de 6 TB. En cuanto a la interconexión con servidores, ambos pueden compartir recursos de memoria con hasta cuatro hosts, con un ancho de banda de interconexión de hasta 256 GB/s y utilizan una interfaz PCIe 6.0 x16.

En cuanto al rendimiento de compresión, los nuevos productos incorporan un motor de compresión LZ4 con una tasa de transferencia de compresión y descompresión de hasta 250 GB/s, cinco veces superior a la generación anterior, lo que permite expandir la capacidad efectiva de la memoria a entre dos y tres veces la original.

Marvell afirma que, en escenarios de inferencia de modelos de lenguaje de gran tamaño, sus nuevos productos pueden reducir el tiempo de respuesta del primer byte (TTFT) entre un 40% y un 50% con la misma longitud de contexto; en escenarios de modelos de recomendación de aprendizaje profundo (DLRM), la cantidad de consultas por controlador puede duplicarse, mientras que la capacidad efectiva de las tablas de embedding puede expandirse entre dos y tres veces.

Apuntando a centros de datos a hiperescala, ecosistema en expansión

Marvell señala que la segunda generación de Structera X ha reutilizado el stack de software y la integración ecosistémica de la primera generación de productos 2404/2504, que ya se suministran a clientes de centros de datos a hiperescala, con el objetivo de acelerar la adopción por parte de clientes de los nuevos productos.

Varios socios de la industria han expresado públicamente su apoyo. Raghu Nambiar, vicepresidente corporativo de AMD, remarcó que la colaboración entre ambas empresas, basada en el rendimiento y la escalabilidad de los procesadores EPYC, ayuda a las empresas a ampliar la capacidad de memoria y mejorar la eficiencia del uso de recursos en un escenario de creciente demanda de aplicaciones de IA y análisis de datos.

Eddie Ramirez, vicepresidente de go-to-market de IA en la nube de Arm, indicó que Structera X introduce la capacidad de expansión, CXL 3.2 y compresión de memoria en el ecosistema de Arm, ofreciendo más opciones para que los centros de datos a hiperescala operen eficientemente cargas de trabajo de IA complejas.

Jangseok Choi, vicepresidente de planificación de productos de memoria de Samsung Electronics, y Uksong Kang, responsable de planificación y habilitación de productos de próxima generación de SK Hynix, afirmaron que ambos han completado las validaciones de compatibilidad entre los productos Structera y sus respectivas memorias DDR.

Perfeccionando el portafolio de productos CXL, avanzando en arquitecturas de pooling y descomposición de memoria

Will Chu, vicepresidente ejecutivo y gerente general de soluciones personalizadas en la nube de Marvell, expresó que la compañía es el único proveedor en la industria que ofrece una línea completa de productos CXL de extremo a extremo, cubriendo varios niveles: Structera X para la expansión de memoria, Structera A para la aceleración cercana a la memoria y PFMA (Photonic Fabric™ Memory Appliance) para el uso compartido de memoria a nivel de rack, abarcando desde expansión de memoria directa hasta aplicaciones de pooling y descomposición de memoria.

Jim Handy, gerente general de la institución de investigación Objective Analysis, señaló que CXL está aplicándose gradualmente en sistemas de IA, y sus características de gran ancho de banda y alta capacidad prometen beneficios significativos. También afirmó que, en un contexto de escasez y altos precios de memoria, los gestores de IT están considerando la posibilidad de reutilizar módulos DDR4 en sistemas DDR5 mediante CXL para reducir costos; los controladores con capacidad de compresión de memoria tienen potencial para aumentar aún más el atractivo de este tipo de soluciones.

Los Structera X 3406 y 3506 serán presentados en la Cumbre Global de OCP, que se celebrará en San José, California, del 12 al 15 de octubre, y se espera que las muestras oficiales estén disponibles en el primer trimestre de 2027.