압도적인 처리량 및 비용 절감: 차세대 플래그십 랙 시스템인 Vera Rubin NVL72에서 DeepSeek-V4-Pro(1.6T)를 구동한 결과, 기존 GB300 NVL72 대비 전력당(MW당) 처리량이 최대 30배 증가하고 토큰당 생성 비용은 최대 35배 절감되었습니다.
전력 효율 극대화: NVIDIA DSX MaxLPS 전력 관리 기술을 통해 동일한 전력 예산 내에서 최대 40% 더 많은 GPU를 배치할 수 있습니다.
새로운 평가 기준(AgentX): 단순 챗봇용 벤치마크 대신, 긴 컨텍스트와 도구 호출 및 하위 에이전트 생성을 반영한 SemiAnalysis의 'AgentX' 벤치마크를 적용해 실제 에이전트 코딩 환경 성능을 입증했습니다.
아키텍처 및 핵심 기술 혁신
분리형 아키텍처 및 NVFP4: 분산 KV 캐시, KV 인식 라우팅, MegaMoE 및 품질 저하 없이 메모리 점유율을 대폭 낮춘 NVFP4 양자화 기술이 적용되었습니다.
6세대 NVLink: 이더넷 대비 10배 빠르고 지연 시간을 3분의 1로 줄여 72개 GPU 간 MoE 전문가 모델 호출을 최적화했습니다.
초저지연 추론 가속기 'Groq 3 LPX' 양산
역할 분담 구조: 대규모 컨텍스트 처리는 Rubin GPU가 담당하고, 토큰 생성은 전용 가속기인 Groq 3 LPX가 전담하는 분리 구조를 채택했습니다.
폭발적인 출력 속도: Gemma 4 31B(10만 토큰 컨텍스트) 기준 3,400 token/s, 코딩 작업 시 최대 6,981 token/s의 속도를 기록했습니다. 5,000 토큰 생성 시간이 50초에서 1.5초로 대폭 단축(34배 단축)되었습니다.
에이전트 전용 'Vera CPU' 및 SpaceXAI 협력
Vera CPU 스펙: 복잡한 에이전트의 도구 호출, 파이썬 코드 실행, 스케줄링을 전담하기 위해 88개의 자체 설계 'Olympus' 코어와 1.2TB/s 대역폭의 LPDDR5X 메모리를 탑재했습니다.
SpaceXAI 대규모 도입: 일론 머스크의 SpaceXAI는 Grok 구동을 위한 기가와트(GW)급 데이터센터에 Vera CPU를 대규모로 도입했습니다.
우주 배치 계획 (2028년): 2028년 발사 예정인 1세대 AI 인공위성 'Starmind'에 우주 환경에 최적화된 Vera Rubin NVL72 랙 시스템을 탑재할 계획입니다.
NVIDIA는 단순한 개별 GPU 공급업체를 넘어 CPU, 전용 추론 가속기, 고속 인터커넥트를 유기적으로 통합하여 완결된 '에이전트 AI 공장' 인프라를 구축하는 전략적 전환을 공식화했습니다.
https://wallstreetcn.com/articles/3780194#from=ios