- GDDR7이 아니라 더 높은 용량의 HBM4 사용
- 27년 1분기 양산
시장에서 Rubin CPX가 Nvidia의 제품 로드맵에서 제외되었다고 믿게 된 직후, 제 최신 산업 확인 결과 Nvidia가 이 프로그램을 부활시켰으며, 2027년 1분기부터 생산이 시작될 예정입니다. 이전 디자인과 비교했을 때, 부활한 Rubin CPX는 더 강력한 프리필 성능을 제공하며 GPU 사양과 랙 아키텍처 모두에 주요 변경 사항을 도입하여 Nvidia가 프리필 솔루션에 부여하는 높은 우선순위를 강조합니다.
1. Rubin CPX GPU 사양
CPX는 Rubin에 가까운 컴퓨트 성능을 제공하며 GPU당 2,300W의 Rubin 최대 전력 등급과 일치합니다. CPX는 168GB의 HBM4로 전환되며, 이는 Rubin의 288GB와 이전 CPX 디자인의 128GB GDDR7과 대비됩니다.
2. 랙 디자인
새로운 CPX는 이전 디자인처럼 Rubin과 랙을 공유하는 대신 독립형 MGX ETL 랙을 사용합니다. 고객들은 필요에 따라 64, 128, 192, 또는 256개의 CPX GPU를 선택할 수 있습니다. CPX 랙 내에서 각 64개의 CPX GPU 그룹은 랙 모듈을 형성하며, 이는 여덟 개의 컴퓨트 트레이(트레이당 여덟 개의 CPX GPU)와 하나의 스위치 트레이로 구성됩니다.
3. 스케일업 및 스케일아웃
NVLink는 각 트레이 내 여덟 개의 CPX GPU 간 스케일업에만 사용되며, CPX당 1~1.5TB/s의 NVLink 대역폭을 제공합니다(반면 Rubin당 3.6TB/s). 각 랙 모듈 내 트레이 간 스케일아웃은 모든 구리 L1 링크를 사용하는 Spectrum-6 이더넷을 통해 실행됩니다. 랙 모듈 간 스케일아웃은 각 모듈의 Spectrum-6 스위치가 OSFP 광학 링크를 통해 처리합니다.
4. 작동 방식
CPX는 Vera Rubin NVL72와 쌍으로 사용되어야 하며, Nvidia는 CPX와 Rubin GPU의 1:1 비율을 권장합니다. CPX는 프리필을 처리하고 KV 캐시를 구축한 후, 이를 이더넷 RDMA를 통해 Rubin으로 전송하여 디코드를 수행합니다.
5. 제품 포지셔닝 : 긴 컨텍스트 프리필에 대한 달러당 최고 성능
오늘날 AI 추론 작업량의 50% 이상이 입력 컨텍스트 처리와 해당 KV 캐시 구축에서 발생합니다. 따라서 CPX는 프리필을 처리하는 더 유연하고 저비용의 방법을 제공합니다. 각 여덟 CPX 트레이는 약 1.34TB의 HBM4를 갖추고 있으며, 이는 대부분의 긴 컨텍스트 프리필 작업과 관련 KV 캐시 요구 사항에 충분합니다.
https://x.com/mingchikuo/status/2094426162193993964