불과 몇 달 전까지만해도 기업의 AI 인재는 토큰 사용량이 높은 사람이였던 적이 있었다.
하지만 다양한 툴의 등장과 높은 양의 토큰을 요구하는 모델의 발전으로 단순히 토큰을 사용하는 것은 매우 쉬워졌다.
과거에는 클로드코드 MAX $200의 주간 한도를 쓰는데 5~6일 정도 걸렸는데 이제 3일만에 주간한도 90%를 채우고 자동으로 돌리는거 안꺼지게 추가 사용량 결제하고 Codex나 클코 계정 하나 더 파서 다른 계정을 쓰는 상황까지 온다.
이제 AI 토큰 사용량보다는 비용 최적화의 단계가 필요하다. 초기라는 이유로 이것저것 마음껏 해보던 시대는 점점 사라지고 있다. 이제는 정말 "가치"를 창출해야 토큰(비용)을 쓰는 의미가 생긴다.
LLM 모델을 다양하게 고려해서 작업 수준에 따른 모델들을 배치해서 워크플로우를 설계하거나 로컬 모델을 이용하거나 하는 등의 방법들도 여럿 보인다.
AI Native 시대에 AI를 정말 몰입해서 할 수 있는지가 몇 달 전에 인재의 기준이였다면, 이제는 AI Agents들의 워크플로우 설계와 비용 최적화를 할 수 있어야 되는 순간으로 변하고 있다.
발전 속도가 너무 빠르고, 그만큼 격차도 증가한다고 느끼는 중.