Nvidia đề xuất giải pháp thiết kế toàn bộ bộ nhớ AI phối hợp, với nền tảng Vera Rubin, dung lượng bộ nhớ mỗi GPU chỉ tăng khoảng 3%, nhưng hiệu suất xử lý suy luận có thể tăng tối đa 30 lần.

NVIDIA cho biết, khi quy mô các mô hình AI mở rộng, cửa sổ ngữ cảnh kéo dài và ứng dụng agent trở nên phổ biến, áp lực lên bộ nhớ GPU tiếp tục gia tăng, nguồn cung HBM trở nên căng thẳng và giá cả tăng lên. NVIDIA đưa ra giải pháp nâng cao hiệu quả sử dụng bộ nhớ thông qua thiết kế phối hợp giữa GPU, CPU, mạng, lưu trữ và phần mềm, thay vì chỉ đơn thuần tăng dung lượng bộ nhớ GPU. Cụ thể, NVIDIA nén trọng số mô hình và KV Cache bằng định dạng NVFP4 độ chính xác thấp, chuyển các ngữ cảnh tạm thời không hoạt động sang tầng lưu trữ chi phí thấp hơn, đồng thời sử dụng triển khai phân tán nhiều GPU để giải phóng không gian HBM. NVIDIA tiết lộ rằng, trong các bài kiểm tra SemiAnalysis AgentX, GB300 NVL72 đạt thông lượng suy diễn trên chi phí đơn vị cao gấp 10 lần nền tảng H200 ở một số tác vụ nhất định; Vera Rubin NVL72 so với GB300 NVL72, thông lượng suy diễn trên chi phí đơn vị tăng tối đa 30 lần, trong khi dung lượng HBM mỗi GPU chỉ tăng khoảng 3%.