• 이유는 토큰 가격이 싸졌어도 사람들이 에이전트·딥리서치·추론형 작업처럼 훨씬 무거운 작업을 더 많이 하기 시작했기 때문이다.
• 예전엔 한 번 질문하고 끝났다면, 이제는 모델이 길게 생각하고 여러 단계로 움직이면서 훨씬 많은 토큰과 요청을 써버린다.
• 그래서 토큰 하나 가격은 크게 떨어졌지만, 전체 사용량이 그보다 훨씬 더 빨리 늘어서 총비용은 오히려 커지고 있다.
• 이건 효율이 좋아질수록 총소비가 줄지 않고 더 커지는 제번스의 역설이 AI에서 그대로 벌어지는 모습이다.
• 지금 하이퍼스케일러들이 돈을 더 많이 쓰는 것도, 추론 수요가 단순한 가격 하락보다 훨씬 더 강하게 폭증하고 있기 때문이다.
• 학습은 한동안 몰아서 돌리고 끝나는 작업이었지만, 추론은 서비스처럼 계속 돌아가야 해서 전력·냉각·메모리 같은 운영비 부담이 훨씬 크다.
• 폐쇄형 API 위에 제품을 얹은 회사들은 사용자가 많아질수록 자기들도 컴퓨트 비용을 더 많이 내야 해서, 잘 팔릴수록 마진이 나빠질 수 있다.
• 그래서 앞으로 중요한 건 모델 자체만이 아니라, KV cache 관리나 라우팅, 양자화처럼 추론 비용을 줄여주는 아래쪽 스택이다.
• 특히 긴 대화나 에이전트 작업은 메모리를 계속 붙잡고 있어서, GPU 계산보다 메모리 쪽이 더 큰 병목이 될 수 있다.
• 그래서 앞으로는 GPU 숫자만이 아니라 메모리, 패키징, CPU/GPU 비율 같은 하드웨어 구조까지 같이 중요해진다.
• 결론적으로 지금 벌어지는 일은 AI가 식고 있는 게 아니라, 너무 유용해져서 추론 수요가 폭발했고 그 결과 비용 구조 전체가 바뀌고 있다는 것이다.