Ming-Chi Kuo: Nvidia nimmt das Optimierungsprojekt für das Rubin CPX Inferenz-Vorfüllungs-Chip wieder auf

Nvidia hat still und leise ein Chip-Projekt wiederbelebt, das vom Markt einst als aufgegeben galt, mit dem Ziel, die kostspielige Prefill-Phase im Bereich der KI-Inferenz gezielt anzugehen.

Die neueste Branchenanalyse des bekannten Analysten Ming-Chi Kuo zeigt, Nvidia hat das GPU-Projekt „Rubin CPX“ zur Beschleunigung der KI-Inferenz-Prefill-Phase wieder gestartet und das Produktdesign deutlich angepasst. Nach aktueller Planung soll die neue Version von Rubin CPX voraussichtlich im ersten Quartal 2027 in Produktion gehen.

Die Wiederaufnahme dieses Projekts sendet ein klares Signal: Nvidia verstärkt seine Bemühungen, die Leistungs- und Kostenengpässe im Prefill-Stadium der KI-Inferenz zu überwinden. Mit der fortlaufenden Verlängerung der Kontextlänge großer Modelle müssen im Prefill-Stadium große Mengen an Eingabedaten verarbeitet und KV Cache generiert werden – deren Effizienz wirkt sich direkt auf die Gesamtkosten und die Wirtschaftlichkeit der KI-Inferenz aus.

Ming-Chi Kuo erklärt, dass aktuell mehr als 50 % der KI-Inferenz-Last aus der Verarbeitung des Eingabekontexts und dem Aufbau des KV Cache resultiert.

Chip-Spezifikationen stark angepasst, Rechenleistung nahe Standard-Rubin

Die Kerndaten des neuen Rubin CPX unterscheidet sich deutlich von bisherigen Vorgaben.

In Bezug auf Rechenleistung und Stromverbrauch erreicht die neue Version von CPX inzwischen annähernd die Leistung der Standard-Rubin GPU, mit einer maximalen Leistungsaufnahme von bis zu 2300 Watt pro Karte. Beim Speicher setzt die neue CPX-Version auf 168GB HBM4, was im Vergleich zum früheren 128GB GDDR7-Design ein deutliches Upgrade darstellt, jedoch weiterhin unter den 288GB HBM4 der Standard-Rubin GPU bleibt.

Laut Kuo verfügt ein CPX-Berechnungs-Tray mit acht Karten zusammen über eine HBM4-Kapazität von etwa 1,34TB – ausreichend für die meisten Prefill-Aufgaben mit langer Kontextlänge und die entsprechende KV Cache-Anforderung. Das bedeutet, Rubin CPX zielt nicht ausschließlich auf höhere generelle Rechenleistung, sondern wurde für Szenarien mit langen Kontextfenstern hinsichtlich Speicherkapazität und Prefill-Effizienz gezielt neu konzipiert.

Vom gemeinsamen Rack zur unabhängigen Bereitstellung, flexiblere Konfiguration

Auch das Rack-Design bildet einen Schwerpunkt der Anpassungen.

Im ursprünglichen Plan sollte CPX das Rack gemeinsam mit Rubin GPU nutzen; die neue Version setzt auf ein unabhängiges MGX ETL-Rack, das es Kunden ermöglicht, CPX-Rechenleistung je nach Bedarf separat zu skalieren.

Konkret können Kunden eine Bereitstellungsgröße von 64, 128, 192 oder 256 CPX GPUs wählen. Jeweils 64 CPX GPUs bilden ein Rack-Modul mit acht Computing-Trays, wobei jedes Tray acht CPX GPUs sowie einen Switch-Tray umfasst.

Durch die modulare Gestaltung müssen Kunden nicht zwingend im Großmaßstab Rubin-Racks einkaufen, sondern können die CPX-Leistung nach Bedarf der Prefill-Last flexibel erweitern.

Schichtweise Vernetzungsdesign, niedrigere Prefill-Bereitstellungskosten

Rubin CPX setzt im Vernetzungsdesign auf eine schichtweise Struktur, um zwischen Leistung und Kosten zu balancieren.

Innerhalb eines Computing-Trays werden die acht CPX GPUs via NVLink zur Scale-up-Erweiterung verbunden. Jede CPX GPU bietet eine NVLink-Bandbreite von 1 bis 1,5TB/s – im Vergleich zu 3,6TB/s bei der Standard-Rubin GPU dennoch geringer.

Für das Scale-out zwischen Trays sowie innerhalb von Rack-Modulen verwendet CPX Spectrum-6 Ethernet All-Copper L1-Verbindungen; für Verbindungen zwischen Rack-Modulen werden die Spectrum-6 Switches über OSFP-Faserverbindungen eingesetzt.

Im Vergleich zu reinen High-Bandwidth-GPU-Interconnect-Lösungen konzentriert sich dieses Schichtkonzept auf die Kostenoptimierung speziell für den Prefill-Bereich.

Zusammenspiel mit Rubin GPU, ausgerichtet auf lange Kontextinferenz

Rubin CPX ist kein unabhängiger, universeller GPU, sondern dient als Prefill-Beschleuniger im Verbund mit Vera Rubin NVL72.

Nach Angaben von Ming-Chi Kuo empfiehlt Nvidia eine Deployment-Ratio von 1:1 zwischen CPX und Rubin GPU: CPX übernimmt die Berechnung und Generierung des KV Cache in der Prefill-Phase; dieser wird anschließend via Ethernet RDMA an die Rubin GPU übertragen, die wiederum das nachfolgende Decoding erledigt.

Die Produktpositionierung zeigt, dass Rubin CPX nicht darauf abzielt, die Standard-Rubin GPU zu ersetzen, sondern die KI-Inferenz-Prozesse weiter aufzuteilen, sodass unterschiedliche GPUs die Aufgaben für Prefill und Decoding separat bewältigen.

Kuo bezeichnet dies als „die beste Kosten-Nutzen-Lösung für Prefill in langen Kontextfenstern“. Mit der stetigen Ausweitung der Kontextfenster bei KI-Modellen steigen die Berechnungslast und die KV Cache-Größe im Prefill-Stadium kontinuierlich. Die Wiederaufnahme des CPX-Projekts durch Nvidia dürfte gezielt darauf abzielen, die Kosten für lange Kontextinferenz mittels spezialisierter Hardware und heterogener Bereitstellung weiter zu senken.