SemiAnalysis: GB300은 A100보다 약 400배 더 많은 토큰을 생성합니다(대략적인 규모입니다. H100은 A100보다 약 8배 더 많은 토큰을 생성하고, GB300은 H100보다 약 50배 더 많은 토큰을 생성합니다).
A100의 TDP는 400W로 주어지지만, GB300은 1400W로 주어집니다. 이는 전기 요금이 일정하다는 가정하에 GB300이 A100보다 약 115배 더 효율적이라는 의미입니다.
A100은 시간당 약 1-1.2달러에 임대되고, GB300은 시간당 4-5달러에 임대됩니다. 칩이 5년 동안 상각된다는 가정하에 GB300의 비용이 약 40k$라면, 24시간 연속으로 5년 동안 임대할 경우 칩 비용은 시간당 약 0.91달러입니다. 이제 유지보수 비용과 칩이 100%의 시간 동안 임대되지 않는다는 점을 고려하면, 매우 보수적으로 추정하더라도 칩 비용은 A100(완전히 상각된)보다 시간당 1.5달러 더 들 것입니다.
이는 전기 비용이나 인프라(인프라는 동일하며, 엄밀히 말해 GB300의 경우 네트워크 대역폭과 더 큰 냉각 요구사항으로 인해 약간 더 비쌀 수 있음 - 관대하게 0.8달러로 정량화할 수 있음)를 고려하지 않은 상태에서, 칩당 총 마진은 A100에서 시간당 1-1.2달러인 반면 GB300에서는 시간당 1.7-2.7달러입니다.
토큰 생성을 고려하지 않더라도, 시장에서 GB300의 가격은 더 유리합니다.
이제 고객 측면을 보면, 위에서 말했듯이 GB300은 A100보다 400배 더 많은 토큰을 생성합니다. 이는 A100에서 토큰당 비용이 GB300보다 80에서 120배 더 비싸다는 의미입니다.
따라서 고객들은 최신 칩으로 전환할 모든 이익이 있으며, 공급자들도 마찬가지입니다. A100이 네트워크에 남아 있는 이유는 칩이 부족하기 때문이지, 경제적 이유 때문이 아닙니다
https://x.com/julientechinvst/status/2090084938116685960