로치의개발일기
Kimi K3가 Claude Sonnet 5와 같은 100만 토큰 입력 3달러, 출력 15달러 가격표로 나온 순간, 중국 오픈 웨이트 모델은 싸다는 공식 붕괴
• Kimi K3는 전작 K2.6의 입력 0.5달러, 출력 4달러 대비 한 세대 만에 서너 배 인상. Sonnet 5의 새 tokenizer가 같은 텍스트를 30~40% 더 많은 토큰으로 쪼개며 체감 가격 상승
• 비싼 가격의 핵심 원인으로 제시된 2.8T 파라미터. MoE 구조로 896개 전문가 중 16개만 쓰지만, 전체 가중치를 메모리에 올려 서빙해야 하는 부담
• Kimi K3는 초당 28토큰, 첫 토큰까지 약 4초. 큰 모델은 느리고 비싸다는 물리적 한계 부각
• 스케일링 법칙의 역설. 같은 수준의 지능 비용은 매년 4배 떨어지지만, 사람들이 쓰려는 돈은 매년 10배씩 증가한다는 Dario Amodei의 진단
• 대응 방향은 작은 모델 오케스트레이션과 토큰 절약. prompt caching은 최대 90%, batch는 50% 할인되며, 핵심 지표는 토큰당 가격이 아니라 작업당 가격
무제한처럼 보이던 구독도 결국 토큰 비용 위에 놓인 구조, 앞으로 더 중요해질 작은 모델 조합과 토큰 경제성
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
Good Vibe AI