과거 (RLHF): 인간이 일일이 '좋다/나쁘다'를 알려주는 방식. 챗봇처럼 범용적인 모델을 만드는 데는 효과적이었지만, 기업마다 다른 수천 가지의 복잡한 업무에 적용하기엔 너무 느리고 비싸다. (확장성 ↓)
미래 (RFT): 자동화된 환경에서 AI가 스스로 배우는 방식. 인간의 개입이 최소화되므로, 기업별 맞춤형 AI 에이전트를 대량으로 만드는 데 훨씬 효율적이다. (확장성 ↑)
RFT의 핵심 과제: '환경'과 '보상 함수' 만들기
RFT를 하려면 AI가 뛰어놀 수 있는 가상 놀이터(환경)와, 잘했는지 못했는지를 알려주는 점수판(보상 함수)이 필요하다.
이 '놀이터'와 '점수판'은 각 기업의 고유한 업무 프로세스(영업 CRM, 개발자 코드 리뷰, 병원 응급실 시스템 등)를 정확하게 반영해야 한다. 즉, 완벽한 '맞춤 제작'이 필요하다.
1세대 스타트업의 접근 방식: '수작업' 컨설팅
이 스타트업들은 OpenAI 같은 대기업으로부터 "우리 영업팀을 위한 놀이터와 점수판을 만들어줘"라는 의뢰를 받는다.
그러면 이 스타트업의 최상급 엔지니어들이 투입되어, 고객사의 업무를 몇 달간 분석하고, 손으로 일일이 코딩해서 맞춤형 '환경'과 '보상 함수'를 만들어준다.
이들은 스스로를 "데이터 라벨링계의 Scale AI처럼, 우리는 환경 생성계의 Scale AI가 되겠다"고 주장한다.
'노력'의 차이를 간과했다.
Scale AI (데이터 라벨링)의 성공 공식:
높은 전문성, 낮은 노력
'자율주행 데이터에서 자동차만 골라내기' 같은 작업은 규칙이 명확하고 단순 반복적이다. 한번 시스템을 구축하면, 많은 인력을 고용해서 작업을 분담시키고 생산량을 기하급수적으로 늘릴 수 있다. 즉, 규모의 경제(Scale up)가 가능하다.
1세대 RFT 스타트업의 실패 공식:
높은 전문성, 높은 노력
'A회사의 복잡한 영업 프로세스를 시뮬레이션으로 만들기' 같은 작업은 규칙이 복잡하고 매번 다르며, 창의적인 문제 해결이 필요한 고도의 엔지니어링이다. 고객사 B를 위해서는 완전히 다른 분석과 개발을 처음부터 다시 해야 한다.
이는 최상급 엔지니어의 '시간'을 파는 것과 같다. 고객이 10배 늘어나면, 최상급 엔지니어도 10배로 뽑아야 한다. 이건 기술 회사가 아니라, 맥킨지나 액센츄어 같은 '고급 인력 파견 컨설팅 회사' 모델이다. 이런 회사는 폭발적인 성장이 불가능하다.
진정한 기회: '서비스'를 '제품'으로 바꾸는 '자동화'
고객이 "우리 영업팀은 이런 방식으로 일해요"라고 자연어로 설명하거나 데이터를 제공하면, AI가 알아서 그에 맞는 '환경'과 '보상 함수' 코드를 자동으로 생성해주는 기술을 가진 회사
'노동 집약적 서비스'를 '자동화된 기술 제품'으로 전환
"환경을 직접 만들어서 우리만의 특화 모델을 훈련시키는 게 낫지, 그걸 왜 연구소에 팔아요?"
핵심 경쟁력: 이들에게 '환경'은 단순히 훈련 도구가 아니라, 자사 제품의 핵심 경쟁력이자 독점적인 데이터 공급원입니다.
Harvey가 실제 계약 협상 데이터를 시뮬레이션한 '환경'을 가지고 있다면, 그 환경에서 학습한 에이전트는 다른 어떤 범용 모델도 따라올 수 없는 법률 협상 능력을 갖게 됩니다.
기술적 해자(Moat): 이 '환경'은 외부 판매용이 아니라, 우리 회사 에이전트의 성능을 끊임없이 개선하기 위한 내부의 '비밀 훈련장'입니다. 이 훈련장을 외부에 파는 것은 우리 회사의 핵심 기술을 경쟁사에게 넘겨주는 것과 같습니다.
비즈니스 모델: 특정 산업(Vertical)에 깊이 파고들어, 독점적인 환경에서 훈련시킨 초격차 성능의 'AI 에이전트 제품'을 판매하여 수익을 창출합니다.