📝AI 추론의 진짜 병목은 메모리입니다 source

· AI의 다음 과제는 계산이 아니라 기억
· 이번 사이클은 단순 메모리 업황 반등이 아니라 AI가 메모리를 구조적으로 폭식하는 롱 사이클
· 단순 메모리 기업이 아닌 AI 메모리 인프라 플랫폼으로 재평가해야 할 시점

1. GTC에서 확인된 진짜 병목

• 2026년 LLM 배포는 모델 크기 확대뿐만 아니라 입력/출력 길이 폭증, 에이전트 워크플로우 결합으로 추론 시 컨텍스트가 기하급수로 증가
• NVIDIA조차 추론 컨텍스트가 새로운 병목이라고 명시

• 진짜 문제는 연산 속도가 아니라, 방대한 KV Cache를 어디에 저장하고 어떻게 이동시킬 것인가

2. 왜 KV Cache와 메모리 계층이 중요한가

• 에이전트형 AI는 단발성 문답이 아니라 이전 프롬프트, 중간 추론 과정, 툴 호출 결과까지 전부 기억해야 함
• 이 막대한 데이터를 비싸고 용량이 적은 GPU HBM에만 올려둘 수 없음

• 결국 HBM (Active) → 시스템 메모리 (Spillover) → 로컬 스토리지/SSD (Warm) → 네트워크 스토리지 (Cold)로 이어지는 수직적 메모리 계층 구조가 필수적

3. 마이크론의 업사이드: 메모리 풀스택

• 시장은 여전히 MU를 HBM 수혜주 정도로 보지만 이는 반쪽짜리 해석
• 앞으로는 핫 데이터(HBM)부터 넘치는 컨텍스트를 받아낼 시스템 메모리(DRAM), 재사용 캐시를 저장할 로컬 스토리지(NAND/SSD)까지 추론 메모리 스택 전체가 팽창

• 마이크론은 이 모든 계층을 걸치는 핵심으로, 단순 HBM 벤더가 아닌 AI 추론 인프라 전체의 수혜를 입는 구조

4. 시장이 놓치고 있는 폭발력: NAND

• HBM 수요 폭발은 이미 알려진 사실이나, 진짜 서프라이즈는 NAND에서 나옴
• KV Cache 오프로딩과 벡터 DB 수요가 SSD/NAND 채택을 강력하게 밀어 올리고 있음

• 마이크론 경영진은 데이터센터 NAND 수요가 분기 대비 2배 이상 증가했으며 자사 공급 능력을 초과하고 있다고 밝힘