Continual Learning할때 디스펙시켜서 GPU 더많이 넣어서 쇼부 보는게 훨씬 이득일거라고 봐서. HBM 카파는 줄이면서 콜드 데이터는 낸드로 보내는게 합리적일테니 낸드 수요가 늘면 늘었지 HBM 메모리 수요가 더 크게 증대할거라고 생각은 하지 않습니다.
GPU당 HBM capacity ↓
GPU 숫자 ↑
분산처리 ↑
NAND/DRAM offload ↑
VS
GPU당 HBM capacity ↑
계산을 해봐도 위가 현재 가격대에서는 훨씬 합리적임.
특히나 메가 클러스트 입장에서는 그냥 많이 까는게 이득임.
왜냐면 결국 전체 클러스트에서 초당 얼마나 많은 계산을 해주느냐인데 이게 꼭 고단 HBM이 좋은게 아니기 때문에
8hi가 오히려 주류가 될가능성이 높다고 생각합니다