GPU 업체와 AI 인프라 업체가 동시에 메모리 압축 기술에 투자한다는 건, 지금 추론 현장에서 GPU 메모리가 심각하게 부족하다는 뜻입니다.
안 모자라는 걸 해결하기 위해 연구하지는 않아요.
그리고 여기서 핵심은 압축 기술이 메모리 수요를 줄이는 게 아니라, 오히려 더 키운다는 점입니다.
메모리가 효율적으로 쓰이면 더 긴 컨텍스트, 더 많은 동시 요청이 가능해지고, 그만큼 GPU 배치 수요가 늘어납니다. 경제학에서 말하는 제본스 패러독스(Jevons Paradox)죠.