Q* 사례: 프론티어 예측의 어려움과 교훈
과거 OpenAI Q* 스트로베리 당시에 대부분 AI 전문가들이 Q 러닝이나 A* 알고리즘 결합을 예상했으나 결국 강화학습을 해야하는 것이었음.
비록 추측이 틀리더라도, '문제의 방향성'(추론, RL, 탐색의 중요성)을 제대로 제시하면 업계 전반에 강력한 자극을 주어 수많은 시도를 유발하고, 결국 Deepseek R1과 같은 올바른 방법론을 더 빨리 찾는 데 기여할 수 있음.
'추론과 에이전트' 시대의 도래
멀티모달 같은 다른 중요한 문제들보다 '추론(Reasoning)과 에이전트(Agent)' 문제에 자원과 노력을 집중하고 있음. (예: 앤트로픽, 중국의 Moonshot AI, DeepSeek 등)
'AGI에 도달하려면 시각(Vision) 등 멀티모달 문제를 먼저 해결해야 한다'는 얀 르쿤, 페이페이 리 등의 주장과는 다른 흐름임.
일단 학계와 다르게 자본은 추론/에이전트에 올인하는 느낌.
텍스트 vs 이미지: 데이터의 본질적 차이와 텍스트의 우위
과거의 관점: 텍스트와 이미지를 모두 '동일한 데이터'로 취급하려는 경향이 있었음.
현재의 관점: 텍스트는 이미지와 본질적으로 다르며, 훨씬 강력한 데이터라는 인식이 확산됨.
텍스트 데이터의 3가지 특징:
방대한 동시 과업 학습: 웹 텍스트 사전학습은 수많은 과업(task)을 동시에 배우는 효과가 있지만, 이미지는 그렇지 않음.
이해(Understanding) 능력 내포: 다음 토큰을 예측하는 과정 자체가 문맥에 대한 '이해'를 수반함.
자연스러운 인간 관점과의 정렬(Alignment): 인간이 만든 데이터이기에 인간의 의도, 상징, 추상적 개념과 자연스럽게 정렬됨.
'추론'의 정의: 방법론의 시대에서 '평가의 시대'로
추론의 정의: 최종 답변을 내기 전, '생각의 과정'에 해당하는 중간 결과물을 텍스트로 생성하는 것.
기존 CoT(Chain of Thought)와의 결정적 차이: CoT는 사람이 생각의 과정을 지시하거나 가이드했지만, 현재의 '추론'은 모델이 강화학습(RL)을 통해 스스로 더 나은 생각의 과정을 발견하고 학습한다는 점.
'후반전(The Second Half)' 패러다임 (by Yao Shunyu):
전반전 (방법론의 시대): 이미지 분류 등 고정된 문제를 풀기 위한 더 나은 '방법(알고리즘, 아키텍처)'을 찾던 시대.
후반전 (평가의 시대): 일반화된 방법론(LLM+RL)은 찾았으므로, 이제는 현실 세계의 가치 있는 '문제(Problem)'와 그것을 측정할 '평가(Evaluation)'를 만드는 것이 핵심이 된 시대.
핵심 명제: "평가할 수만 있다면, 어떤 문제든 풀 수 있다."
'환경 스케일링'과 현재의 도전 과제들
'후반전'의 구체적 실행 방식: '환경 스케일링(Environment Scaling)'
3요소: 1) 지시(Instruction), 2) 실행 환경(Environment, 예: 코딩을 위한 VM), 3) 보상 메커니즘(Reward, 예: 유닛 테스트)
이 3요소의 조합을 'RL 짐(Gym)'이라 부르며, 이를 다양하게, 대규모로 구축하는 것이 빅테크의 핵심 과업.
현재 직면한 주요 도전 과제:
1. 비용과 복잡성: 환경 구축은 수학 올림피아드 수상자, STEM 박사 등을 '튜터'로 고용해야 할 만큼 막대하고 비싼 데이터 작업. (해결책 시도: 모델을 이용한 환경 합성)
2. 개방형 질문과 검증의 어려움: 정답이 없거나 검증이 어려운 문제(예: 수학 증명)에 대한 보상 제공 문제. (해결책: 모델 기반 보상 모델, 루브릭(Rubric) 기반 평가)
3. 롱 컨텍스트와 장시간 사고: 긴 문맥을 정확히 이해하고 장시간(수십 분~수 시간)에 걸쳐 사고하는 능력. ICPC 대회(5시간 제한) 문제 해결 사례는 이 문제가 프론티어에서 상당 부분 해결되고 있음을 시사.
-> 덕분에 Mercor/ScaleAI/Surge/Handshake같은 전문직을 연결해서 데이터를 제공하는 회사들의 매출은 수직 상승
해결해야 할 다음 문제들: 프론티어 랩들이 고민할 것으로 추정되는 상호 연결된 미래 연구 주제들.
1. 자율 학습(Autonomous Learning)과 내재적 보상(Intrinsic Rewards):
외부에서 설계된 환경이 아닌, 모델 스스로 학습 환경을 구축하고 목표를 설정하며 '내재적 보상'을 통해 학습하는 능력. 인간의 호기심이나 성취감과 유사.
2. 온라인 및 지속 학습(Online & Continual Learning):
자율 학습이 가능해지면, 모델을 특정 환경(예: 기업 내부)에 배치해 실시간으로 상호작용하며 계속해서 배우고 발전하게 만들 수 있음.
3. 장기 기억(Long-term Memory):
지속 학습을 위한 필수 요소. 가중치 업데이트, 수십억 토큰의 컨텍스트, 외부 메모리 도구 등 다양한 방식으로 구현될 수 있음.
4. 멀티 에이전트 시스템(Multi-Agent Systems):
기능: 역할 분담을 통한 컨텍스트 관리, 단일 과업의 깊이(depth)를 넘어 여러 과업을 동시에 처리하는 폭(width)의 확장. (예: 버그 하나 수정 → 오피스 프로그램 전체 개발)
결정적 차이: 과거의 프롬프트 조합 방식과 달리, 전체 멀티 에이전트 시스템 자체를 강화학습으로 '훈련'하여 에이전트 간의 상호작용과 협업 방식을 최적화할 수 있게 됨.