1. AI의 병목이 다시 이동 중
- 2년마다 연산 성능은 3배 증가했지만, DRAM 대역폭은 1.6배, 인터커넥트는 1.4배 증가
- AI 학습 연산량은 같은 기간 8.8배 증가
- 칩의 계산 능력보다 데이터를 공급하고 이동시키는 능력이 느린 대역폭 장벽 발생
2. HBM은 패키지 내부의 해법
- HBM은 메모리를 GPU 가까이에 수직 적층해 높은 대역폭을 확보
- 하지만 장점은 GPU와 HBM이 붙어 있는 패키지 내부에 집중
- 데이터가 패키지 밖으로 나가는 순간 구리의 전력·발열·거리 한계가 재발생
3. 더 높게 쌓는 것만으로는 부족
- HBM 적층이 높아질수록 용량은 늘지만, 발열·수율·비용·패키지 면적 부담도 증가
- 수천 개 GPU가 연결된 AI 클러스터에서는 개별 HBM 성능보다 시스템 전체의 데이터 이동이 중요
- 병목이 메모리 밀도에서 연결성으로 이동
4. 다음 해법은 CPO와 광연결
- CPO는 광학 엔진을 프로세서 가까이에 배치해 구리 이동 거리를 최소화
- 장거리 데이터 전송은 전기가 아닌 빛으로 처리
5. HBM의 역할도 재정의
- 모든 메모리를 GPU 옆에 쌓는 대신 XPU 풀과 대규모 메모리 풀을 분리
- 두 자원을 광학 인터커넥트로 연결, 가속기가 하나의 메모리 풀 공유
- HBM은 초저지연 로컬 메모리로 남고, 추가 용량은 외부로 확장
6. 광연결에 주목하는 3사
- 하닉·삼전·마이크론 모두 광인터커넥트 기업 Avicena에 투자
- 경쟁 3사가 같은 기업의 캡테이블에 들어갔다는 것은 강한 전략적 신호
- 즉, 광연결을 차세대 메모리 확장 경로로 보고 있다는 의미
✍️결론
- HBM 수요 정점이 아니라, HBM만으로 AI를 확장하는 방식의 정점
- AI 가치사슬은 GPU → HBM → 인터커넥트, 광학 기술로 확장
- 승자는 분산된 연산과 메모리를 하나의 시스템처럼 연결하는 기업