Nvidia proponuje pełnozakresową współpracę projektową w zakresie pamięci AI, a platforma Vera Rubin zwiększa pojemność pamięci na GPU tylko o około 3%, przy czym przepustowość wnioskowania wzrasta nawet 30-krotnie.

NVIDIA stwierdziła, że wraz ze wzrostem skali modeli AI, wydłużeniem okien kontekstowych oraz upowszechnieniem zastosowań agentów, rośnie presja na pamięć GPU, podaż HBM staje się coraz bardziej ograniczona, a ceny rosną. NVIDIA zaproponowała zwiększenie efektywności wykorzystania pamięci poprzez współprojektowanie GPU, CPU, sieci, magazynowania oraz oprogramowania, zamiast polegać wyłącznie na zwiększaniu pojemności pamięci GPU. Konkretnie, NVIDIA kompresuje wagi modelu i pamięć podręczną KV przy użyciu formatu NVFP4 o niskiej precyzji, przenosi tymczasowo nieaktywne konteksty do tańszych warstw magazynowania oraz korzysta z wielogPU-owej dystrybucji, aby zwolnić miejsce w HBM. NVIDIA ujawniła, że w teście SemiAnalysis AgentX, GB300 NVL72 osiągnął przepustowość inferencyjną na jednostkę kosztu nawet do 10 razy wyższą niż platforma H200 przy określonym obciążeniu; natomiast Vera Rubin NVL72 w porównaniu do GB300 NVL72 zwiększył przepustowość inferencyjną na jednostkę kosztu do 30 razy, przy wzroście pojemności HBM jednego GPU jedynie o około 3%.