1. AI는 기억상실한 천재
- ChatGPT, Gemini는 똑똑하지만 배운 걸 장기 기억으로 축적하지 못함
- 그래서 매번 대화 히스토리와 문맥을 다시 읽어야 함
- AI 비용의 본질은 연산만이 아니라 메모리와 데이터 이동 비용
2. 핵심은 Continual Learning
- 한 번 학습하고 멈추는 Static Inference 구조에서 벗어나기 시작
- 앞으로는 추론 중에도 새로운 정보를 기억하고, 가중치를 업데이트하는 방향
- 이게 현실화되면 AI는 답변 생성기가 아니라 계속 배우는 시스템에 가까워짐
3. 그래서 HBM만으로는 부족
- 기존 HBM은 데이터를 빠르게 읽어서 GPU에 공급하는 Read-Heavy 구조
- 그런데 Continual Learning은 읽고, 수정하고, 다시 쓰는 RMW 트래픽을 폭발
- 대역폭만 넓히는 방식으론 한계가 있고, HBF 같은 차세대 메모리 계층이 중요
4. 빠른 메모리보다 예측 가능한 메모리
- AI가 로봇, 자율주행, 공장, 6G로 들어가면 성능보다 Tail Latency가 더 중요
- 99.9%는 빨라도 0.1% 순간 지연이 로봇을 넘어뜨리고, 자율주행을 위험하게 만듦
- 앞으로는 최고 대역폭뿐 아니라 일정한 응답성, 메모리 격리, 워크로드별 최적화가 핵심
✍️슈퍼사이클의 초반부가 GPU와 HBM의 대역폭 전쟁이었다면, 다음은 기억하고, 수정하고, 지연 없이 반응하는 메모리 아키텍처 전쟁