메모리 벽 (Memory Wall)
메모리 기술이 AI 시스템의 성능을 제한하는 핵심 요인(병목 현상)으로 작용하고 있습니다.
1. 연산 성능과 메모리 대역폭의 격차
연산 성능 (TFLOPS): 2년마다 약 3배(3x/2yr)씩 급격하게 증가 (TPU v3~v5, A100, H100, MI300X, B100, B200 등)
메모리 대역폭 (HBM BW): 2년마다 2배 미만(<2x/2yr) 성장에 그침
결과: 연산 처리 속도에 비해 데이터 전송 속도(대역폭)의 발전이 뒤처지면서 심각한 '메모리 벽' 현상이 심화됨
2. 병목 해결을 위한 메모리 아키텍처 진화
2.5D 부착형 메모리 (2.5D attached memory): 연산 장치(Compute)와 메모리를 2.5D 기판 위에 나란히 배치하여 연결하는 기본 구조
2.5D 고급 메모리 (2.5D advanced memory): 연산부와 메모리 간의 물리적·구조적 거리를 더욱 좁혀 대역폭과 전력 효율을 개선한 구조
지능형 메모리 (Processing in Memory, PIM): 메모리 내부에 연산 기능을 직접 통합하여 데이터 이동 자체를 최소화하는 차세대 구조
https://x.com/DrNHJ/status/2091675792094949394?s=20