- Expert Call by BofA
- 제목 : KV cache, memory hierarchy & model choice
- 요약
1. 에이전틱 추론(Agentic Inference)이 메모리 수요를 구조적으로 크게 증가시킴
- 컨텍스트 윈도우가 확대되고(약 128K 토큰 → 약 1M 토큰), 여러 에이전트가 공유 작업을 수행하면서 추론 시 메모리 요구량이 급증.
- KV 캐시는 이전 토큰, 기업 컨텍스트, 가드레일, 에이전트 결정 로그를 저장해 에이전트 간 컨텍스트를 재계산 없이 이동시킴.
- 일부 에이전틱 워크로드에서 KV 캐시 크기가 모델 가중치의 최대 약 10배까지 커질 수 있음.
- 압축, 저정밀도 표현, 비활성 캐시를 DRAM·NVMe·플래시로 오프로딩하면 효율이 개선되지만, 전체 메모리 수요를 줄이기보다는 더 많은 사용자·에이전트·워크로드를 지원하는 방향으로 작용.
- HBM 수요는 공급 제약이 지속되는 한 높게 유지될 것으로 전망.
2. 추론의 병목이 연산에서 데이터 이동으로 이동
- 추론 인프라는 학습과 달리 즉각적인 응답, 저지연, 로컬 메모리, 경제적인 GPU 활용이 중요.
- GPU가 계속 연산을 수행하도록 KV 캐시를 메모리 계층 구조(memory hierarchy)를 통해 빠르게 이동시키고, 비활성 데이터는 저비용 메모리로 오프로딩한 뒤 작업 재개 시 압축된 정보를 다시 로드.
- GPU 옆 메모리를 초과하는 컨텍스트·동시성이 늘어나면, 고대역폭 네트워크로 연결된 더 큰 메모리 풀의 중요성이 커짐.
- 광학 연결(optical connectivity)이 프로세서와 메모리 간 실용적 거리를 확장할 수 있으나, 광범위한 상용 도입은 아직 불확실.
- Cardells는 고속 네트워킹, 포토닉스, 메모리 풀링, 온칩 메모리 혁신, Ultra Ethernet 등을 과소평가된 영역으로 평가.
3. Frontier 모델 vs Open-weight 모델 선택 : 작업과 규모에 따라 다름
- Frontier 모델 : 모호한 추론, 미묘한 결정, 세련된 출력, 복잡한 소프트웨어 엔지니어링에서 우위.
- Open-weight 모델 : 좁고 반복적인 작업이나 독점적 워크플로우에 적합.
- 연간 약 50억 토큰 수준이 되면 open-weight의 경제성을 검토할 시점. 다만 API 비용 절감과 개발·호스팅·보안·프라이버시·인프라 비용을 비교해야 함.
- Frontier 모델의 토큰 비용 하락과 하이퍼스케일러 호스팅 배포가 독립 모델 스택 관리 필요성을 줄임.
- 결과적으로 기업들은 모델 비종속적(prompt·제어·추상화 계층)을 구축해 능력·비용·거버넌스에 따라 워크로드를 모델 간 이동시키는 하이브리드 환경을 예상.