Nebius가 자사의 AI 추론 플랫폼인 'Token Factory'에 AI 클라우드 최초로 NVIDIA Groq 3 LPX를 도입하여 에이전트 워크로드의 토큰 생성 속도를 대폭 개선했습니다.
핵심 기술 및 하드웨어 사양
Groq 3 LPX 도입: NVIDIA Vera Rubin NVL72 플랫폼의 확장 형태로, 응답성과 속도가 중요한 에이전트(Agentic) 사용 환경에 맞춰 초고속 토큰 생성을 지원합니다.
하드웨어 스펙: 각 NVIDIA LPX 랙은 256개의 LPU 가속기, 128GB 온칩 SRAM, 640TB/s의 스케일업 대역폭을 갖추었으며, NVIDIA MGX 기반의 완전 수랭식 냉각 방식을 채택했습니다.
에이전트 지연 시간 최소화: 여러 단계의 모델 호출이 연속적으로 이어지는 에이전트 워크로드의 특성상, 생성 지연 시간(latency)이 누적되는 병목 문제를 극복하는 데 초점을 맞췄습니다.
성능 벤치마크 결과
Gemma 4 31B 신기록: Artificial Analysis 벤치마크 기준, 단일 사용자 대상 초당 3,400 출력 토큰을 기록하며 해당 모델 기준 역대 최고 속도를 달성했습니다.
전력 효율 및 처리량 개선: 긴 컨텍스트 및 저지연 환경에서 2조(2T) 파라미터 모델 구동 시, Vera Rubin NVL72 결합 환경은 기존 GB200 NVL72 대비 메가와트(MW)당 추론 처리량이 최대 35배 향상되었습니다.
개발자 편의성 및 무중단 적용
인프라 재설계 불필요: 새로운 가속기를 사용하기 위해 기존 기술 스택을 재설계할 필요 없이, 기존 Token Factory 플랫폼에서 즉시 구동됩니다.
기존 엔터프라이즈 기능 지원: 오토스케일링, 모니터링(관측성), 네이티브 함수 호출(Function Calling), 구조화된 JSON 출력, 보안 가드레일 등 기존 기능을 동일하게 이용할 수 있습니다.
간단한 전환: 별도의 SDK 교체, 새로운 공급업체 계약, 결제 설정 변경 없이 모델 선택 옵션만 변경하여 지연 시간에 민감한 작업에 즉시 배포할 수 있습니다.
https://nebius.com/blog/posts/nvidia-groq-3-lpx-nebius-token-factory