AI 연산 능력이 2년마다 약 3배 성장하는 반면 고대역폭 메모리(HBM) 대역폭 성장은 2배 미만에 그쳐, 연산 속도가 메모리 전송 속도를 앞지르는 '메모리 월(Memory Wall)' 병목 현상이 심화
핵심 발표 내용 (Hot Chips 2026)
연산과 메모리 간의 격차: AI 모델이 커질수록 메모리 병목 현상이 심화되며, 연산 성장 속도(~3배/2년)가 HBM 대역폭 성장(~2배 미만/2년)을 넘어서고 있습니다.
실리콘 면적 비중: 12단 HBM 스택 4개를 탑재한 일반적인 GPU SiP(System-in-Package)에서 메모리 실리콘이 전체 실리콘 면적의 약 90%를 차지(GPU 실리콘 면적의 약 8배)합니다.
학습 안정성 문제: 메타(Meta)의 Llama 3 훈련 논문에 따르면 예기치 않은 전체 훈련 중단 원인 중 17%가 HBM 결함에서 발생했습니다.
적층 한계: 스택 높이가 4단에서 16단까지 증가했으며 20단 적층 경로도 연구 중이나, 심각한 열적·기계적 한계에 직면해 있습니다.
차세대 HBM4 규격 및 아키텍처
성능 스펙: 마이크론의 HBM4는 최대 2,800 GB/s의 대역폭을 지원하며, HBM3E 대비 2배 늘어난 I/O(2K I/O)와 2배의 채널 수를 제공합니다.
구조적 구성: 독립 채널을 가진 D램 다이를 적층하고 3D TSV(실리콘 관통 전극)를 통해 하단 베이스 다이(Base Die)와 연결됩니다. 베이스 다이는 마이크로범프와 인터포저를 거쳐 GPU 호스트와 초고밀도로 연결됩니다.
HBM과 기존 DDR5 메모리 비교
대역폭: HBM은 일반 GPU 구성 기준 약 5.3 TB/s로, DDR5(약 300 GB/s) 대비 약 15~17배 높습니다.
다이당 대역폭: HBM3E 기준 다이당 약 256 GB/s를 기록해 DDR5(약 8 GB/s)보다 32배 빠릅니다.
병렬 처리(뱅크 수): 다이당 뱅크 수가 DDR5는 32개인 반면, HBM은 128개(HBM3E)에서 256개(HBM4)로 대규모 병렬 처리에 유리합니다.
에너지 효율: 순차적 AI 데이터 접근 시 비트당 전력 소모(pJ/bit)가 HBM이 훨씬 낮아 높은 전력 효율을 보입니다.
용량 및 배치: DDR5는 대용량 확장이 유리하지만 물리적 면적을 많이 차지하는 반면, HBM은 용량은 상대적으로 작지만 GPU 바로 옆에 배치되어 테라바이트급 초고속 전송을 구현합니다.
발열 제어 및 차세대 패키징 솔루션
전력 밀도 문제: 고성능 기능이 집약된 베이스 다이와 적층 수 증가로 인해 전력 밀도 및 발열 문제가 가중되고 있습니다.
퓨전 본딩(Fusion Bonding): 한 자릿수 마이크론 수준의 미세 피치를 지원해 D램 사이의 유전체 층을 줄임으로써 열 저항을 낮추고 데이터 전송 효율을 극대화합니다.
추가 혁신 기술: 액체 냉각, 하이브리드 본딩, 메모리에 최적화된 고속 SerDes I/O 설계 및 고급 D2D PHY 기술을 통해 GPU 부하를 줄이고 열 제약 극복을 추진 중입니다.
https://x.com/DrNHJ/status/2091674711134785733?s=20