에이전트는 사람보다 훨씬 많은 토큰을 사용할 뿐만 아니라, 토큰을 사용하는 방식 자체도 상당히 다릅니다. 특히 에이전트는 사람에 비해 캐시된 토큰(cached tokens)을 훨씬 더 많이 활용합니다.
다시 OpenRouter 데이터에 따르면, 에이전트형(agentic) 작업에서 소비되는 토큰의 85% 이상이 캐시된 프롬프트에서 발생하며, 최근 토큰 사용량의 상대적인 증가분 역시 거의 대부분이 캐시 토큰에서 나오고 있습니다.
그 이유는 비교적 단순합니다. 사람은 일반적으로 ‘프롬프트 → 응답’ 형태의 대화를 하는 반면, 에이전트는 하나의 목표를 달성하기 위해 반복적으로 작업하고 또 반복하도록 설계되어 있기 때문입니다.
초기 프롬프트에는 토큰을 많이 사용하는 ‘프리필(pre-fill)’ 과정이 포함됩니다. 여기에는 목표를 수행하기 위한 핵심 컨텍스트, 예를 들어 정책과 절차, 코드 작성 가이드라인 등이 들어갑니다.
이후 에이전트는 최종 결과에 도달할 때까지 조금씩 정보를 읽고 쓰는 작업을 반복합니다. 이 과정에서 새로운 정보가 계속 기존 캐시에 추가되며, 에이전트가 작업을 진행할수록 캐시의 크기도 점진적으로 커지게 됩니다.
캐시 토큰은 초기 프리필 토큰보다 훨씬 저렴합니다. 이는 긍정적인 부분으로, 에이전트의 경제성이 점점 높아질 수 있는 이유이기도 합니다.
하지만 캐시 토큰은 정의상 메모리 자원을 소비합니다.
바로 이 지점에서 HBM(High Bandwidth Memory·고대역폭 메모리)이 왜 이렇게 강한 수요를 받고 있는지 이해할 수 있습니다.
수많은 AI 에이전트들이 매번 처음부터 다시 작업하는 것이 아니라, 기존 작업 내용을 메모리에 유지하면서 계속 연산을 수행하려면 막대한 메모리 자원이 필요하기 때문입니다.
그리고 에이전트 기술은 아직 전체 발전 과정에서 극히 초기 단계에 있음에도 불구하고 빠르게 확산되고 있습니다.
에이전트 확산과 관련해 주목할 만한 또 하나의 2차 효과(second-order effect)도 있습니다.
바로 에이전트가 기존의 자동화 및 워크플로우 소프트웨어에 대한 수요를 감소시킬 가능성입니다.
Similarweb 데이터에 따르면, Gumloop을 제외하면 자동화 툴 관련 웹사이트의 트래픽은 지속적인 감소세를 보이고 있습니다.
https://www.a16z.news/p/charts-of-the-week-winds-of-thematic