Connecting…
Connecting…
View all
Continuous Learning_Startup & Investment
Telegram · @continuouslearningmatthew

파인튜닝·디스틸·포스트트레이닝의 난도가 급락하면서, 랩 API 래퍼로 출발한 앱도 결국 자체 모델로 이동할 수밖에 없다.

Posted
2025.09.10 12:46
Views
235
Forwards
5


이유는 두 가지다. 첫째, 품질 재현성: 모델 성능은 데이터·컴퓨트·아키텍처의 함수이고, 최근 DeepSeek이 약 $6M 규모로 o1급 추론 성능을 보여준 사례가 장벽 붕괴를 입증한다. 둘째, 분배(Distribution): 단기 코딩이 대거 자동화되면, 소프트웨어는 사실상 D2C 브랜드처럼 경쟁하며, 모델을 ‘내 것’으로 컨트롤하는 쪽이 유지·차별화·원가구조를 장악한다.

패턴(Wrapper → 전용 모델)
Cursor처럼 랩퍼로 PMF와 트레이스(경로) 데이터를 모은 뒤, 작은 특화 모델을 파인튜닝(예: Tab/Fast Apply 류 기능)하고, 나중엔 자체 데이터 모트로 사내 모델을 학습·멀티 모델 오케스트레이션을 한다. 이때 모델과 엔지니어링을 하나의 제품경험으로 묶어, 고객이 지불한 토큰 대비 ‘지능의 가치’를 더 크게 제공하면 잔존가치가 누적된다.

데이터가 병목, 앱이 곧 RL 환경
핵심 제약은 데이터다. 앱이 만들어내는 세션 리플레이/행동 궤적이 곧 RL 경험이며, 여기가 진짜 레버리지 포인트다. OpenAI의 Statsig 인수는 대규모 실험/피처플래깅/세션 데이터 스택을 제품 내부 RL 인프라로 편입하려는 움직임으로 해석할 수 있다. Sutton & Silver가 말한 ‘경험의 시대’가 바로 이것: 컴퓨터 유즈 자체가 AGI로 가는 자료 생성 엔진이다.

경제학: Token Factor Productivity(TFP)
모델은 ‘지능’이 아니라 ‘생산성 요소’다. 성패는 토큰 1단위가 창출한 경제가치로 측정해야 한다.
TFP = (산출의 경제가치) / (소비된 토큰)

실무에서는 수율(유효 산출/전체 산출)과 추론단가를 함께 관리해야 하고, 이를 끌어올리려면 오너십(자체 모델) + 데이터 효율 + RL-후훈련(예: LMPO/TRL/VERL)의 삼각편대를 구축해야 한다.

https://sdan.io/blog/training-imperative

Views235Forwards5View on Telegram