Morgan Stanley: Дефицит памяти для AI продлится несколько лет, три ключевых подхода к решению проблемы; хранилища данных и гетерогенные вычисления получают структурные возможности

По данным приложения Zhihui Caijing, Morgan Stanley в своём отраслевом отчёте о рынке полупроводников отмечает, что дефицит DRAM-памяти будет сопровождать текущий цикл развития индустрии искусственного интеллекта, а экспансия вычислительных мощностей AI не будет дожидаться завершения и запуска новых фабрик по производству чипов. Отрасль использует три ключевых технологических направления для обхода узких мест памяти: снижение аппаратных спецификаций, декомпозиция архитектуры инференса и пуллинг памяти CXL, что позволяет, несмотря на ограничения поставок, продолжать развитие вычислительных мощностей. Банк по-прежнему позитивно оценивает перспективы ведущих производителей памяти, таких как Micron (MU.US) и SanDisk (SNDK.US), а также считает перспективными направления роста в сегменте CXL-интерконнекта и гетерогенного инференса, рекомендуя Astera Labs (ALAB.US), Marvell (MRVL.US), Cerebras (CBRS.US) и Nvidia (NVDA.US).

Morgan Stanley подчёркивает, что текущий дефицит AI-памяти — не краткосрочный фактор, а структурное противоречие, когда рост вычислительной производительности опережает темпы увеличения объёма памяти. Масштаб передовых масштабных моделей удваивается каждые 6 месяцев, а годовые темпы увеличения окон контекста ведущих моделей достигают 5-6 раз, вместе с ростом спроса на параллельную инференцию приводит к взрывному росту запросов на ёмкость и пропускную способность памяти. Между тем, строительство заводов по производству DRAM-чипов занимает годы, гибкость предложения крайне низка, поэтому ситуация дефицита сохранится в течение нескольких лет. Генеральный директор Nvidia Дженсен Хуанг также открыто заявил, что отрасли нужно менять подход и справляться с ограничениями памяти посредством архитектурных инноваций, а не просто ждать расширения производственных мощностей.

В условиях ограниченного предложения HBM и основной памяти самым прямым способом реагирования отрасли является выборочное снижение спецификаций памяти на одно устройство (De-speccing). Например, в архитектуре Rubin от Nvidia объём LPDDR5 на машину снижен с первоначально запланированных 54 ТБ до 28 ТБ, объём HBM на GPU — с 288 ГБ до 192 ГБ, что позволяет за счёт уменьшения высоты стека памяти сохранить общий объём отгрузок. Morgan Stanley отмечает, что снижение характеристик не устраняет узкое место памяти, а лишь перераспределяет нагрузку между уровнями памяти: после сокращения объёма локальной сверхбыстрой памяти такие данные, как KV-кэш, перемещаются в хранилище NAND, при этом увеличивается объём меж-GPU взаимодействия, что приводит к росту требований к полосе пропускания сетевых соединений. Таким образом, дефицит высокоскоростной памяти компенсируется использованием более быстрых сетевых соединений и более доступных ресурсов хранения.

Второй путь решения проблемы — декомпозиция архитектуры инференса (Disaggregation). AI-инференс состоит из двух различных этапов: предзаполнение (Prefill), требующее значительных вычислительных ресурсов, и декодирование (Decode), сильно зависящее от пропускной способности памяти. В традиционной архитектуре один и тот же ускоритель обрабатывает оба типа задач, что приводит к низкой эффективности использования ресурсов. Сегодня отрасль активно переходит к гетерогенному инференсу, когда эти этапы разделяются по разным аппаратным решениям: Prefill, требующий вычислительных ресурсов, выполняется на универсальных GPU, а Decode, зависящий от объёма и пропускной способности памяти, обрабатывается специализированными ускорителями с большой SRAM на чипе.

Типичными представителями этого направления являются wafer-scale engine от Cerebras и архитектура Groq LPU, приобретённая Nvidia: обе значительно повышают эффективность используемой памяти на этапе Decode по сравнению с традиционным GPU. Morgan Stanley полагает, что гетерогенный инференс станет важным направлением эволюции инфраструктуры AI, а компании, специализирующиеся на ускорении этапа Decode, получат значительные дополнительные рыночные возможности.

Третий путь — переосмысление архитектуры памяти с помощью CXL. CXL (Compute Express Link) реализует расширение, совместное использование и пуолинг памяти посредством высокоскоростных соединений, снимая жесткую привязку памяти к единственному процессору и становясь ключевой технологией для решения проблемы ограниченности объёма памяти. По оценке Morgan Stanley, спрос AI приведёт к тому, что к 2030 году рынок CXL и связанных с ним приставок памяти вырастет примерно до 6 миллиардов долларов, что значительно больше традиционного рынка расширения памяти CPU. Суть технологии — построение иерархической архитектуры памяти: самые "горячие" данные размещаются в HBM, данные средней востребованности — в CXL-пуле, а "холодные" редко используемые — в NAND, что позволяет оптимально согласовать стоимость с частотой доступа к данным.

В качестве инвестиционной стратегии Morgan Stanley подтверждает три основных направления: во-первых, продолжать увеличивать позиции в Micron и SanDisk; снижение спецификаций вызвано ограниченным предложением, а не падением спроса, долгосрочный спрос на AI-память будет только расти, дефицит предложения продолжит стимулировать загрузку производственных мощностей; во-вторых, ставить на лидеров CXL и scale-up-интерконнекта — Astera Labs и Marvell; в-третьих, обратить внимание на выгодоприобретателей гетерогенного инференса, таких как Cerebras, а также Nvidia, завершившую формирование гетерогенной экосистемы путём покупки Groq.

Риски: рост спроса на AI-вычисления может оказаться ниже ожиданий; внедрение CXL может идти медленнее, чем прогнозировалось; увеличение производственных мощностей памяти может превысить ожидания.