✍️팩트 및 요약
https://www.youtube.com/watch?v=i-upHhS-Eis
1. 엔비디아 GB300을 이겼다 — 단 베라 루빈은 비교하지 않았다
- 중립성을 이유로 오픈소스 벤치마크 InferenceX를 사용했고, 동일 디바이스에서 높은 처리량과 낮은 지연을 동시에 달성한 것을 업계 최초라고 표현했다.
- 와트당 성능은 기존 칩 대비 1.8~4배 우수하며, 리처드 호는 이를 토큰 원가의 대리지표로 보고 양산 시 고객 토큰 가격 인하로 이어진다고 밝혔다.
- 베라 루빈과 비교하지 않은 이유는 막 출시돼 최적화된 공개 수치가 없기 때문이며, 공개 벤치마크가 있는 제품 중에서는 GB300이 최선의 대상이었다는 설명이다.
2. HBM4를 쓰는 신규 아키텍처, 엔비디아 바로 다음 양산
- HBM4 기반이며 엔비디아 제품 바로 뒤를 이어 HBM4 양산에 들어가는 첫 부류에 속한다. 저지연은 통상 SRAM 기반 시스템의 영역인데 HBM과 SRAM을 함께 쓴다.
- 백지 상태 접근으로 리서치 팀과 LLM 병목을 파악한 뒤 데이터 이동을 대폭 줄이는 방식을 찾아냈고, 메모리와 코어를 밀접하게 통합한 구조가 GPU·TPU와 다른 점이라고 밝혔다.
- 신규 아키텍처의 프로그래밍 가능성 우려에 대해서는, 몇 달 전 받은 하드웨어에 서로 다른 세 모델을 빠르게 올린 것을 근거로 들었고 펌웨어·커널 최적화에 자사 AI 모델이 기여했다고 언급했다.
3. 학습은 엔비디아에 남기고 추론만 가져간다 — 병목은 메모리와 웨이퍼
- 추론에 집중한 이유는 컴퓨트 성장이 추론 쪽에 있고 학습에서는 엔비디아가 강력한 파트너이기 때문이다. 주간 활성 사용자 급증에 대응해 추론 제품군을 넓히려는 목적이며, 어느 모델에 어느 칩을 쓸지는 OpenAI가 직접 매핑한다.
- 로직 설계와 시스템 설계는 OpenAI가 수행했고 브로드컴은 물리 설계를, 셀레스티카는 랙을 공동 설계했다. 엔비디아가 서버 설계 콘텐츠의 55%를 가져간다는 지적에 호는 자체 실리콘 비중이 훨씬 늘어날 것이라고 답했다.
- 최대 난제는 메모리와 웨이퍼의 극심한 제약이며, 벤더들과 직접 관계를 맺고 함께 양산을 늘려야 한다는 입장이다. 2세대는 이미 개발 심화 단계, 3세대는 개념 작업에 착수한 다세대 로드맵이다.
💡 의견
- "최대 난제는 메모리와 웨이퍼의 극심한 제약". 삼성이 할라피뇨 칩 HBM 메인 벤더라는 썰.