“MTP도 없고, PD(Prefill/Decode) 분리도 안 쓰고, 순수 TP(Tensor Parallelism)만 사용하는데도, 서드파티 모델에서 NVIDIA의 Vera Rubin NVL72보다 빠르다. 그것도 A0 스테핑 초기 실리콘으로 말이다. B0 스테핑은 여기서 25% 더 좋아진다.
결국 NVIDIA GPU는 HBM을 감싸는 포장재(wrapper)가 되어가고 있다.”
참고
MTP(Multi-Token Prediction) : 한번에 여러 토큰을 예측하는 추론가속방법
PD Disaggregation : 프리필과 디코드를 분리하여 서로 다른 칩을 사용하는 추론효율화 방법
TP(Tensor Parallelism) : 여러 칩에 모델 계산을 나눠담는 것
다시 말하면 요즘 당연히, 다양하게 도입되고 있는 추론효율화 방법들을 거의 쓰지 않은 순수하고 원시적인 연산만으로 루빈보다 빠른 아웃풋을 냈다는 말
https://x.com/i/status/2092280093766766949