Morgan Stanley: la escasez de memoria para IA persistirá por varios años; tres caminos para resolverlo; oportunidades estructurales para el almacenamiento y la potencia de cómputo heterogénea

Según la aplicación financiera Zhitong Finance APP, Morgan Stanley publicó un informe de la industria de semiconductores señalando que la escasez de memoria DRAM se extenderá a lo largo de este ciclo industrial de IA, y que la expansión del poder de cómputo en IA no esperará a la finalización y puesta en marcha de nuevas fábricas de obleas. La industria está sortenado el cuello de botella de la memoria a través de tres rutas tecnológicas principales: reducción de especificaciones de hardware, desacoplamiento de arquitecturas de inferencia y agrupación de memoria CXL, impulsando la construcción de capacidad informática a pesar de las restricciones de oferta. La firma mantiene una visión positiva sobre líderes del almacenamiento como Micron (MU.US) y SanDisk (SNDK.US), y también sobre las oportunidades incrementales en el segmento de interconexión CXL e inferencia heterogénea, recomendando Astera Labs (ALAB.US), Marvell (MRVL.US), Cerebras (CBRS.US) y Nvidia (NVDA.US).

Morgan Stanley enfatiza que la actual escasez de memoria para IA no es una perturbación de corto plazo, sino una contradicción estructural donde el crecimiento en el desempeño del poder de cómputo supera ampliamente la velocidad de crecimiento en la oferta de memoria. Los modelos de vanguardia duplican su tamaño cada seis meses y el tamaño de las ventanas de contexto de los modelos principales aumenta cinco o seis veces por año; sumado a la demanda cada vez mayor de inferencia concurrente, la necesidad de capacidad y ancho de banda de memoria sigue explotando. Mientras tanto, la construcción de fábricas de obleas de DRAM lleva varios años, la elasticidad de la oferta es extremadamente baja y la escasez persistirá por varios años. El CEO de Nvidia, Jensen Huang, también declaró públicamente que la industria debe cambiar su enfoque para abordar las limitaciones de memoria mediante innovación en arquitectura en vez de simplemente esperar la expansión de capacidad.

Ante la escasez de HBM y memoria principal, la forma más directa en que responde la industria es reducir selectivamente las especificaciones de memoria por dispositivo (De-speccing). Tomando como ejemplo la arquitectura Rubin de Nvidia, la capacidad de LPDDR5 por servidor bajó de los 54TB originalmente planeados a 28TB, y la capacidad de HBM por GPU se redujo de 288GB a 192GB, asegurando el volumen de envío total a través de la reducción de la altura de apilamiento de la memoria. Morgan Stanley señala que reducir especificaciones no elimina el cuello de botella, sino que traslada la presión entre niveles de memoria: al disminuir la memoria local de alta velocidad, los datos no de alta frecuencia como los cachés KV se trasladan al almacenamiento NAND, los intercambios de datos entre GPU aumentan y, en consecuencia, crece la demanda de ancho de banda de interconexiones de red. En esencia, se suple la escasez de memoria de alto ancho de banda con interconexiones de red más rápidas y recursos de almacenamiento de menor costo.

La segunda ruta para romper el cuello de botella es el desacoplamiento de la arquitectura de inferencia (Disaggregation). La inferencia en IA contiene dos etapas significativamente distintas: pre-carga (Prefill) y decodificación (Decode). La Prefill consume principalmente poder de cómputo, mientras que la Decode depende fuertemente del ancho de banda de la memoria. Las arquitecturas tradicionales usan el mismo acelerador para ambas tareas, resultando en baja utilización de recursos. Actualmente, la industria avanza hacia la inferencia heterogénea, separando ambas etapas en diferentes hardwares: la Prefill, que requiere mucha computación, la ejecutan GPU de propósito general, y la Decode, que exige gran ancho de banda de memoria, la ejecutan chips aceleradores dedicados con gran capacidad de SRAM en el chip.

Ejemplos típicos incluyen el motor a escala de oblea de Cerebras y la arquitectura Groq LPU adquirida por Nvidia, ambos capaces de ofrecer una eficiencia de ancho de banda de memoria muy superior a las GPU tradicionales en la etapa de decodificación. Morgan Stanley considera que la inferencia heterogénea será una importante tendencia evolutiva de la infraestructura de IA y que los fabricantes de hardware especializados en fases de decodificación tendrán oportunidades claras de crecimiento incremental.

La tercera vía es la reconstrucción del sistema de memoria mediante la tecnología CXL. CXL (Compute Express Link) utiliza interconexión de alta velocidad para lograr expansión, compartición y agrupación de memoria, desvinculando así la memoria de un único procesador y convirtiéndose en una tecnología central para superar las limitaciones de capacidad. Morgan Stanley estima que la demanda de IA impulsará el mercado de CXL y chips de memoria relacionados hasta los 6 mil millones de dólares hacia 2030, superando ampliamente la escala del mercado tradicional de memoria para CPU. Su valor clave radica en la construcción de una arquitectura de memoria jerarquizada: los datos de máxima frecuencia se mantienen en HBM, los de frecuencia intermedia en el pool de memoria CXL y los datos fríos de baja frecuencia se trasladan al NAND, alineando los costos según la frecuencia de acceso a los datos.

En cuanto a las principales líneas de inversión, Morgan Stanley reafirma tres direcciones: primero, continuar sobreponderando Micron y SanDisk, ya que la reducción de especificaciones se debe a la escasez de oferta y no a una disminución de la demanda; la demanda de memoria para IA tiene una tendencia de crecimiento a largo plazo y la brecha de oferta seguirá absorbiendo la capacidad. Segundo, posicionar líderes de CXL e interconexión scale-up como Astera Labs y Marvell. Tercero, prestar atención a los beneficiarios de la inferencia heterogénea como Cerebras, así como a Nvidia, que ha mejorado su posicionamiento heterogéneo con la adquisición de Groq.

Advertencia de riesgos: el crecimiento de la demanda de poder de cómputo para IA puede ser inferior al esperado; la implementación de la tecnología CXL puede avanzar más lento de lo previsto; la expansión de la capacidad de memoria puede superar lo esperado.