Nvidia mengusulkan solusi desain kolaboratif full-stack memori AI, kapasitas memori per GPU pada platform Vera Rubin hanya meningkat sekitar 3%, namun throughput inferensi meningkat hingga 30 kali lipat.

NVIDIA menyatakan bahwa seiring dengan skala model AI yang semakin besar, perpanjangan jendela konteks, dan meluasnya penggunaan aplikasi agen, tekanan pada memori GPU terus meningkat, pasokan HBM menjadi semakin ketat, dan harga naik. NVIDIA mengusulkan untuk meningkatkan efisiensi penggunaan memori melalui desain yang terkoordinasi antara GPU, CPU, jaringan, penyimpanan, dan perangkat lunak, bukan hanya dengan menambah kapasitas memori GPU. Secara spesifik, NVIDIA mengompresi bobot model dan KV Cache dengan format presisi rendah NVFP4, memindahkan konteks yang sementara tidak aktif ke lapisan penyimpanan yang lebih murah, serta menggunakan distribusi multi-GPU untuk membebaskan ruang HBM. NVIDIA mengungkapkan bahwa dalam pengujian SemiAnalysis AgentX, throughput inferensi per unit biaya GB300 NVL72 pada beban kerja tertentu mencapai hingga 10 kali lipat dari platform H200; Vera Rubin NVL72, dibandingkan dengan GB300 NVL72, throughput inferensi per unit biaya meningkat hingga 30 kali lipat sementara kapasitas HBM per GPU hanya naik sekitar 3%.