만약 지금보다 열 배 많은 맥락을 비슷한 비용과 속도로 다룰 수 있고, 이미 읽은 자료의 계산 결과를 다음 작업에서도 손쉽게 재사용할 수 있다면 어떨까. 지금은 자료를 자르고 요약하느라 복잡한 업무 중 일부는 훨씬 쉽게 맡길 수 있을 것이다. 즉, 더 많이 쓸 것 같다. 세상 모든 업무에 AI가 본격적으로 투입되기 시작할 것 같다. 지금은 그 천만토큰, 일억토큰으로 달려가는 과정이다. gpu, 전력은 물론, kv 캐싱에 필요한 메모리 가격 때문에 대단한 부담이 발생하고 있다. 그럼에도 인류가 이 황금알을 중도에 포기하고 '아 백만 토큰에서 우리의 진보를 멈추자'고 할 가능성은, 거의 없다고 본다. 태동기라고는 하나 아직 너무나 목 마르기 때문이다.
https://m.blog.naver.com/juliuschun/224403387398