🔗AI의 가치는 메모리에서 연결성으로 (SK hynix) source

1. AI의 병목이 다시 이동 중

• 2년마다 연산 성능은 3배 증가했지만, DRAM 대역폭은 1.6배, 인터커넥트는 1.4배 증가
• AI 학습 연산량은 같은 기간 8.8배 증가

• 칩의 계산 능력보다 데이터를 공급하고 이동시키는 능력이 느린 대역폭 장벽 발생

2. HBM은 패키지 내부의 해법

• HBM은 메모리를 GPU 가까이에 수직 적층해 높은 대역폭을 확보
• 하지만 장점은 GPU와 HBM이 붙어 있는 패키지 내부에 집중

• 데이터가 패키지 밖으로 나가는 순간 구리의 전력·발열·거리 한계가 재발생

3. 더 높게 쌓는 것만으로는 부족

• HBM 적층이 높아질수록 용량은 늘지만, 발열·수율·비용·패키지 면적 부담도 증가
• 수천 개 GPU가 연결된 AI 클러스터에서는 개별 HBM 성능보다 시스템 전체의 데이터 이동이 중요

• 병목이 메모리 밀도에서 연결성으로 이동

4. 다음 해법은 CPO와 광연결

• CPO는 광학 엔진을 프로세서 가까이에 배치해 구리 이동 거리를 최소화
• 장거리 데이터 전송은 전기가 아닌 빛으로 처리

5. HBM의 역할도 재정의

• 모든 메모리를 GPU 옆에 쌓는 대신 XPU 풀과 대규모 메모리 풀을 분리
• 두 자원을 광학 인터커넥트로 연결, 가속기가 하나의 메모리 풀 공유

• HBM은 초저지연 로컬 메모리로 남고, 추가 용량은 외부로 확장

6. 광연결에 주목하는 3사

• 하닉·삼전·마이크론 모두 광인터커넥트 기업 Avicena에 투자
• 경쟁 3사가 같은 기업의 캡테이블에 들어갔다는 것은 강한 전략적 신호

• 즉, 광연결을 차세대 메모리 확장 경로로 보고 있다는 의미

✍️결론

• HBM 수요 정점이 아니라, HBM만으로 AI를 확장하는 방식의 정점
• AI 가치사슬은 GPU → HBM → 인터커넥트, 광학 기술로 확장

• 승자는 분산된 연산과 메모리를 하나의 시스템처럼 연결하는 기업