지난주 Packy McCormick과 Markie Wagner가 제시한 Return on Tokens(RoT)가 빠르게 다양한 논의를 촉발했습니다. 우버처럼 AI 토큰 비용이 과도하게 늘어 지출을 제한하는 빅테크 사례를 근거로, 보여주기식으로 토큰을 많이 쓰는 것이 아니라 결과를 측정하고 효율화해야 한다는 주장입니다. 실제로 우버는 2026년 Claude Code 토큰 예산을 4월에 소진했고, 아마존은 사내 토큰 리더보드를 폐지했습니다. 두 사람의 결론은 한 문장으로 압축됩니다. "AI는 compiler지 runtime이 아니다." 반복 업무는 Agent에게 매번 시키지 말고 한 번 code로 컴파일해 두고 영원히 싸게 돌리라는 것, thinking은 비싸도 드물게 일어나고 doing은 싸고 영원히 반복된다는 구도입니다.
저 역시 기업들이 토큰 사용 리더보드를 만들던 때부터 이를 일시적 현상으로 보았고, 결국 토큰을 효율화·최적화하는 역량이 중요해질 것이라 말해왔습니다. 이 진단은 절반은 정확하다고 생각합니다. 단, 그 절반이 어디까지인지가 핵심입니다. 반복적이거나 이미 검증된 작업에서는 토큰의 한계 가치(marginal return)가 빠르게 0으로 수렴합니다. 정답이 정해져 있으니 모델을 교체하거나 workflow를 바꾸며 측정 가능한 형태로 만들 수 있고, 여기서는 효율을 따지는 쪽이 이깁니다. McCormick의 진단이 옳은 영역입니다.
문제는 frontier가 전혀 다른 게임이라는 점입니다. 최전선에서 토큰을 쓰는 이유는 정해진 산출물을 뽑기 위해서가 아니라, 모델의 능력 경계가 어디인지를 알아내기 위해서입니다. 무엇이 되고 무엇이 안 되는지, 어떤 프롬프트가 무엇을 여는지, 어떤 접근이 막다른 길인지. 이 학습은 팀의 판단력과 직관으로 축적될 뿐, 깔끔한 산출물로 떨어지지 않습니다. RoT의 공식인 (산출물 가치 − 토큰 비용) / 토큰 비용은 바로 이 학습을 측정하지 못합니다. 산출물이 아니라 암묵지(暗默知)이기 때문입니다.
그래서 frontier에서 효율을 먼저 따지기 시작하면 밀립니다. 검증된 ROI에만 토큰을 허락하면, 이미 아는 것에만 돈을 쓰게 되고 결국 새로 발견하는 일을 멈춥니다. 측정 가능한 것만 좇다가 local maximum에 갇히는 사이, 경쟁자는 그 너머를 탐색하며 지나가 버립니다. 효율의 칼날은 정답이 있는 곳에서는 무기지만, 정답을 찾는 중인 곳에서는 족쇄가 됩니다.
장하준 교수가 2020년 경향포럼에서 폴 크루그먼과의 대담 중 한국의 코로나 재난지원금을 두고 한 말이 이 구조를 잘 설명한다고 생각합니다. (개인적으로 팬이기도 합니다.) 그는 누구에게 줄지 토론하며 시간을 허비하기보다 모든 국민에게 지급하고 고소득자에게 세금을 더 거두는 편이 낫다고 주장하며, 취약한 사람을 고를 시간이 없다고 못박았습니다. 위기에선 선별에 드는 시간과 행정비용이 그렇게 아끼는 돈보다 크니, 일단 보편 지급하고 사후에 누진과세로 환수하라는 논리입니다. 선별이 비싼 이유는 단지 절차 때문이 아니라, 누가 정말 취약한지 가려낼 정보 자체가 위기의 순간엔 없기 때문입니다.
RoT를 두고 어느 조직에 얼마를 주고 누구에게만 토큰을 허용할지 가르는 이야기가 나오는데, 이것이 바로 그 선별의 문제입니다. 어느 토큰이 positive ROT를 낼지 가려내는 routing·eval 자체가 공짜가 아니고, 더 근본적으로는 그 답을 사전에 알 정보가 frontier에는 없습니다. 그 정보는 토큰을 써봐야 비로소 생기니까요. "한시가 급한" 위기의 속도는 곧 1등이 모든 것을 가져가는 frontier 경쟁의 속도입니다.
결국 핵심은 max냐 min이냐가 아니라, 자신이 어느 국면에 서 있는지를 아는 일입니다. 목표 없이 리더보드 숫자를 위해 태우는 casino tokenmaxxing은 분명 낭비입니다. 그러나 날카로운 목표를 향해 미지의 영역을 탐색하며 극한으로 쓰는 winning tokenmaxxing은 여전히 경쟁의 정답입니다. ROT는 측정 가능한 영역에서는 분명 옳은 규율이지만, 측정되지 않는 frontier의 학습까지 그 잣대로 재단하는 순간, 이기는 게임에서 밀려나게 됩니다.