메모리는 어디로 향하는가?

루빈 울트라가 HBM4로, 혹은 12단에서 8단 HBM으로 다운그레이드될 수 있다는 이야기를 소식통에게 들었을 때, 나는 무슨 질 나쁜 농담인 줄 알았다.

16단에서 12단 축소는 이해할 수 있었다. 수율이 안 나오는 제조상의 문제였으니까. 하지만 또다시 8단이나 HBM4로 너프하는 것은, AI가 갈수록 더 크고 높은 HBM 용량을 요구하며 이것이 메모리 월을 넘어설 유일한 길이라는 믿음에 정면으로 반하는 일이었다.

그래서 Anthropic이나 OpenAI 같은 모델 개발사들이 엔비디아에 4단 HBM4E까지 요청했다는 이야기를 들었을 때, 나는 더 깊은 혼란에 빠졌다.

이렇게 낮은 HBM으로도 충분하다면 HBM의 해자는 무너진 것 아닌가? 그러면 밀려올 중국발 공급의 홍수를 어떻게 피하나? 이것이 메모리 다운사이클의 시작인가? 온갖 부정적인 생각이 몰려왔고, 나는 패닉에 빠졌다.

하지만 업계 전문가들과 소식통들과 이야기를 나누며 답을 찾았다. 나조차 납득시킨 답이었기에 여기서 공유하고자 한다.

1. HBM이 왜 이토록 중요한가

메모리 제조사들에게 이번 사이클이 이전과 다른 점은 HBM이다.

이번 DRAM 공급 부족 전체가 HBM이 막대한 범용 DRAM 웨이퍼 캐파를 흡수하고 있기 때문에 생겨났다고 해도 과언이 아니다.

올해 초, 루빈 울트라가 1TB HBM4E를 탑재할 것으로 예상되던 시절, 일부 전망은 DRAM 설비투자가 늘어나는데도 실효 DRAM 공급 증가율이 겨우 1%에 그칠 것으로 내다봤다. 전부 HBM 때문이었다. 다시 말해, DRAM을 꾸준히 탈(脫)범용화시켜온 것이 바로 HBM이다.

HBM은 수율 관련 세 가지 엔지니어링 한계에 직면해 있다.

첫째는 다이를 수직으로 쌓는 데서 오는 패키징 단계의 수율 문제다. 둘째는 범용 DRAM 다이 대비 큰 다이 면적으로, 웨이퍼당 양품 다이(KGD)가 적게 나온다. 셋째는 적층 전 TSV를 형성하는 웨이퍼 공정 자체의 수율 손실이다.

둘째와 셋째는 HBM 제조의 피할 수 없는 비용이다. 첫째는 다르다. 4단이나 8단 적층은 12단이나 16단보다 훨씬 성숙한 공정이므로, 적층 높이를 낮추는 것만으로 더 많은 HBM이 나온다.

이는 곧바로 더 많은 가속기 출하로 이어지고, 최근 HBM 사양 하향의 원인 중 하나다.

2. 메모리가 예산에서 차지하는 비중이 너무 크다

너프 전의 루빈 울트라가 12단 HBM4E를 쓴다고 가정하고 HBM4 가격 인상분을 반영하면, 메모리가 전체 BoM의 무려 70%를 차지하게 된다. 엔비디아의 고객들이 도저히 받아들일 수 없는 가격이다.

엔비디아가 HBM 마진을 75%에서 50%로 낮추긴 했지만, 그래도 루빈 울트라는 너무 비싸지고 있었다.

그래서 OpenAI와 Anthropic을 포함한 고객들은 GPU 가격을 낮추기 위해 BoM 최대 항목인 HBM의 사양 하향을 적극적으로 밀어붙이기 시작했다.

일부 고객은 4단 HBM이면 충분하다고까지 주장했다. 내 이해로는 메모리 제조사들이 이를 거부했고, 사양 하향은 8단에서 멈췄다.

돌아보면 하이퍼스케일러를 포함한 메모리 구매자들은 7월부터 가격 인상에 저항하기 시작했다. 메타의 샌디스크 건이 한 사례였고, 루빈 울트라의 메모리 가격 반발이 또 하나의 사례다.

업계에 퍼지는 인식은, AI 발전에 쓰여야 할 예산이 과도하게 메모리에 쏟아부어지고 있다는 것이다.

3. HBM 용량을 계속 올릴 여지도, 예산도 없다

핫 칩스에서 배운 것 하나는, HBM에서 이제 용량보다 핀 스피드가 더 중요하다는 것이다.

HBM은 메모리의 가장 뜨거운 계층이 되어가고 있다.

모든 데이터를 HBM에 담아둘 필요는 줄어들고 있다. 모델은 여러 GPU에 분산되고, 프리필과 디코드는 분리되고 있으며, 상대적으로 차가운 KV 캐시와 모델 상태는 LPDDR, CXL, NAND 계층으로 내려가고 있다. HBM에 남는 것은 지금 당장 연산에 필요한 워킹셋뿐이다.

모델 개발사들의 소프트웨어 개선도 상상을 초월한다.

양자화, MLA 같은 기법들이 모델 가중치와 KV 캐시의 용량 증가를 알고리즘으로 상쇄해준다. 최소 워킹셋 용량이 확보되고 나면, 문제는 얼마나 많이 저장하느냐에서 매 토큰에 필요한 데이터를 얼마나 빨리 가져오느냐로 옮겨간다.

고용량이 불필요해졌다는 뜻이 아니다. 소프트웨어가 최소 필요 용량을 계속 낮추고 있으며, 그 임계점을 넘어서면 추가 가치는 용량보다 대역폭에서 나온다는 것이다.

게다가 더 높은 대역폭의 HBM은 더 많은 웨이퍼가 필요하다. 다이 중 제한된 비율만 스피드 비닝을 통과하므로, 요구 속도가 높을수록 웨이퍼당 양품 다이는 줄어든다. 이는 HBM의 과중한 DRAM 다이 소비를 심화시키고, DRAM 공급 부족을 악화시킬 위험이 있다.

그래서 HBM 구매자들은 용량과 대역폭을 맞바꿀 수밖에 없었다. 용량을 희생하더라도 더 높은 대역폭이 필요하고, 그 위에 고용량까지 확보할 여유는 없다.

그렇다면 이것이 메모리 제조사들에게 의미하는 바는? 개인적으로 오히려 호재라고 생각한다.

오늘날 제조사들은 기준 미달 불량 다이를 폐기하거나, 상태가 나은 것들을 좋지 않은 가격에 중국에 판다.

하지만 용량 포기가 HBM4와 HBM4E를 8단으로 판다는 뜻이라면, 더 높은 패키징 수율을 확보한다는 뜻이기도 하다. 더 많은 HBM, 더 많은 랙 출하를 의미하므로, 모두가 고용량을 고집하던 세계보다 총 HBM 수요는 오히려 증가한다.

결론: 앞으로 2년이 메모리 제조사들의 운명을 결정한다

HBM은 완벽하지 않다.

발열. DRAM 웨이퍼를 만성적으로 잡아먹는 선천적 식성. 자본 우위에 따라 흔들리는 할당 우선순위.

HBM에 대한 불만은 충분히 이해할 만하다. 창조자인 SK하이닉스 스스로도 완벽한 아키텍처가 아니라고 인정한 바 있다. 하지만 지금까지 만들어진 최고의 메모리 아키텍처라는 것은 부인할 수 없다.

HBM 덕분에 메모리는 덜 사이클리컬해졌다.

다운턴이 와도 HBM 수요는 줄지 않을 것이다. DRAM 가격이 떨어지면 제조사들은 HBM 생산을 늘려 하락을 방어할 수 있다. 이것이 지금까지의 모든 사이클과의 가장 큰 차이다. 다운턴이 와도 메모리 가격이 예전처럼 70%씩 폭락하지는 않을 것이다.

하지만 여기에 안주해서는 안 된다. 업계는 HBM 다음의 아키텍처를 만드는 데 집중해야 한다.

DRAM 웨이퍼를 덜 쓰거나, NAND를 대신 쓰거나, 완전히 다른 경로를 택하는 우월한 아키텍처가 등장할 가능성도 배제할 수 없다.

그리고 나는 그 아키텍처가 메모리와 로직이 결합하는 방향에서 나올 것이라 믿는다. 우리는 메모리와 로직이 서로의 영역을 침범하는, 수정된 폰 노이만 시대로 들어서고 있다.

메모리 제조사들에게 앞으로 2년은 향후 수십 년을 결정하는 분기점이다.

여기서 로직을 향한 방향을 붙잡는다면, 메모리보다 훨씬 큰 로직 시장 진입을 시도할 수 있고, 메모리의 해자도 더 단단히 굳힐 수 있다.

반대로 HBM 베이스 다이 같은 것들부터 조금씩 영역을 내준다면, HBM이 안겨준 탈범용화의 기회를 잃을 수 있다. 그러면 하청업체 위치에서 영원히 벗어나지 못하고, 이익은 HBM 이전 수준으로 돌아갈 수 있다.

제조사들도 이것을 안다. 삼성이 파운드리와 메모리 결합의 우월성을 설파하는 이유, SK하이닉스가 인텔과의 협력을 모색하는 이유다.

엔비디아를 포함한 로직 진영은 메모리 제조사들의 역할 확대를 원하지 않는다. HBF에 반대하는 이유다. NAND에서 HBM의 재판(再版)이 벌어져 주도권을 잃는 것을 피하고 싶은 것이다.

메모리와 로직의 힘겨루기에서 누가 이길지는 모른다. 지금 확신하는 것은 이것이다.

HBM은 언젠가 대체된다. 궁극의 방향은 메모리와 로직의 결합이다. 인류가 HBM의 벽을 우회하기 전까지, 메모리 제조사들의 이익은 HBM의 구조적 특성에 의해 보호될 것이다.

우리가 폰 노이만 아키텍처 이후 가장 중요한 분기점에 서 있다는 것은 확실해 보인다.

앞으로 5년은 죽지 말자. 이 변화를 보지 못하고 어떻게 죽을 수 있겠는가?