2025년, AI 산업의 중심축은 단순한 "모델 크기 경쟁"에서 벗어나 최적화 압력, 제품의 하네스(Harness), 그리고 실질적인 평가로 이동하고 있습니다.
1. 성능(Capability)의 원천이 바뀌다: Pre-train에서 RLVR로
더 이상 '더 큰 모델'만이 능사가 아닙니다. 2025년의 핵심 성장 동력은 RLVR(검증 가능한 보상 기반 강화학습)을 통한 포스트 트레이닝(Post-training)입니다.
컴퓨팅 자원 배분의 이동: 거대 모델의 사전 학습(Pre-train)보다 장시간의 RLVR 최적화가 성능 향상의 주축이 되었습니다. 프론티어 연구소들이 특정 직무나 업무별로 특화된 '에이전트 체육관(Agent Gym)'을 구축하는 이유가 여기에 있습니다.
새로운 스케일링 레버, 'Thinking Time': 추론 단계에서 더 많은 연산 자원을 투입하는 '테스트 타임 컴퓨트(Test-time compute)'가 성능을 높이는 확실한 방법으로 자리 잡았습니다. 물론 이는 비용 및 응답 지연과의 트레이드오프를 고려해야 합니다.
2. '검증 가능성(Verifiability)'이 모든 것을 규정한다
시스템이 내놓은 결과가 맞는지 틀린지 검증할 수 있는가? 이 질문이 학습, 평가, 제품화를 관통하는 핵심입니다.
자동 검증기와 RLVR의 시너지: 테스트 케이스, 정답 확인, 실행기 등 '자동 검증기'가 존재하는 환경에서 RLVR의 성능은 폭발적으로 증가합니다.
벤치마크의 함정: 대부분의 벤치마크 역시 '검증 가능한 환경'이므로, 모델의 학습 타깃이 되기 쉽습니다(과적합). 따라서 기존 벤치마크 점수의 신뢰도는 하락하고 있습니다.
새로운 평가 기준: 단순 점수보다는 ▲오프라인/온라인 평가 스위트(Eval Suite) ▲데이터 오염 방지 대책 ▲실패 복구 능력 및 가드레일 설계가 더 중요해졌습니다.
3. 제품과 투자의 해자(Moat): 모델이 아닌 '워크플로우'
이제 경쟁력의 핵심은 모델 그 자체가 아니라 검증 가능한 워크플로우, 컨텍스트 엔지니어링, 오케스트레이션(DAG), 그리고 로컬 에이전트 UX에 있습니다.
3.1. 제품 레이어(Harness)가 곧 성능이다
LLM 앱의 새로운 표준: Cursor와 같은 도구들이 보여주듯, 이제 LLM 앱은 단순한 채팅창이 아닙니다. 컨텍스트 엔지니어링 + 다중 호출 오케스트레이션 + GUI + 자율성 조절 슬라이더가 결합된 형태가 성능을 결정짓습니다.
대학생 vs 전문가: LLM 연구소들이 '전반적으로 유능한 대학생' 수준의 모델을 배출하는 추세라면, LLM 앱들은 사설 데이터, 센서, 액추에이터, 피드백 루프를 결합하여 이들을 '특정 산업 분야의 숙련된 전문가 팀'으로 조직화해야 합니다.
3.2. 최적화 압력이 지능의 '형태'를 만든다
인간의 지능이 생존과 사회성이라는 압력 하에 진화했듯, LLM은 텍스트 모방, 코드 해결, 사용자 피드백(Upvote)이라는 상업적 선택압에 의해 진화합니다.
따라서 모델의 능력치가 톱니바퀴처럼 들쑥날쑥한(Jagged) 것은 자연스러운 현상입니다.
전략 포인트: 여러분의 버티컬(Vertical) 시장에서 '모델 교체 비용이 낮아지는 속도'와 '워크플로우 및 데이터 피드백 루프의 누적 가치'를 분리해서 측정해야 합니다.
4. 로컬 환경이 에이전트의 승부처인 이유
클라우드 샌드박스보다 로컬 환경이 에이전트 구동에 더 강력한 설득력을 가집니다.
'진짜' 맥락(Context)은 로컬에만 있다: 깃허브(Repo)에는 없는 커밋 전 변경 사항, 로컬 환경 변수, 빌드 캐시, 시스템 라이브러리 등 '코드가 실제로 돌아가는 환경'은 오직 로컬에만 존재합니다.
피드백 루프의 밀도: 개발은 수정 → 실행 → 오류 확인 → 반복의 연속입니다. 로컬 에이전트(예: Claude Code)는 터미널에 상주하며 이 루프를 끊김 없이 수행하지만, 클라우드 방식은 동기화(Sync) 과정에서 지연과 마찰을 발생시켜 몰입을 방해합니다.
접근 권한(Access)의 우위: 로컬 에이전트는 VPN 내부망, 사내 비공개 문서, 로컬 DB 등 개발자가 접속 가능한 모든 곳에 닿을 수 있습니다. 반면 클라우드 샌드박스는 보안상 격리되어 있어 '반쪽짜리' 도구가 되기 쉽습니다.
통제감(Governance)을 주는 UX: 내 컴퓨터를 건드린다는 위험성은 역설적으로 훌륭한 UX를 낳았습니다. 파일 수정이나 명령어 실행 전 사용자의 승인을 구하는 절차는 사용자에게 "AI를 안전하게 통제하고 있다"는 감각을 제공합니다.
5. 멀티모달과 새로운 인터랙션 (GUI의 부활)
"텍스트로 설명하기"보다 "직접 가리키고 조작하기(Direct Manipulation)"가 훨씬 빠릅니다. 결과물 역시 텍스트가 아닌 슬라이드, 웹앱, 인포그래픽 등 '사람 친화적 표현'으로 진화해야 합니다.
Gemini 2.5 Flash Image 등의 시사점: 자연어로 특정 부분을 정밀 편집하거나, 여러 이미지를 합성하고, 브랜드 톤앤매너를 일관되게 유지하는 기능들이 등장하고 있습니다.
UX의 재구성: 사용자는 더 이상 장문의 프롬프트를 쓰지 않습니다. 대신 레이아웃, 템플릿, 참조 이미지를 던져주고 모델이 이를 기반으로 "디자인 조작"을 수행하는 방식으로 UX가 바뀌고 있습니다.
💡 Food for Thoughts: 전략적 점검 포인트
1. 검증 가능성: 우리 도메인은 결과의 참/거짓을 얼마나 명확하게(테스트, 회계적 일치 등) 검증할 수 있는가?
2. 해자의 위치: 우리의 경쟁 우위는 데이터, 피드백 루프, 시스템 통합, 유통(Distribution) 중 어디에 쌓이고 있는가?
3. 실질적 평가: 벤치마크 점수가 아니라, 실제 고객에게 가치를 주는지 측정하는 Eval 시스템을 갖추고 있는가?
4. 피드백 루프의 가치: 데이터가 쌓일수록 모델이 고도화되는 루프가 작동하는가? 더 똑똑한 모델(대학생)이 나왔을 때, 우리 도메인에 즉시 온보딩시킬 교육 프로그램(데이터 파이프라인)이 준비되어 있는가?
5. 로컬-퍼스트 전략: 레포지토리, 시크릿 키, 툴체인 접근이 가능한 '로컬 우선' 전략이 가능한가? 가능하다면 UX와 성능 혁신의 기회가 있다.
6. 인터페이스의 미래: 멀티모달과 GUI 조작이 본격화될 때, 현재의 텍스트 기반 UX는 어디까지 대체될 것인가?
https://karpathy.bearblog.dev/year-in-review-2025/