AI 모델의 성능은 투입되는 컴퓨팅, 데이터, 인재의 양에 비례하여 기하급수적으로(로그-로그 스케일) 증가한다.
OpenAI는 구글이나 메타처럼 모델 훈련에 필요한 막대한 자본(수십조~수백조 원)을 자체적으로 감당할 수 없다보니 초기엔 MS 지금은 Oracle/NVDIA과 딜을 해야했다.
Nvidia는 자사의 GPU 판매를 극대화하기 위해, OpenAI에 '총이익의 일부를 지분으로 전환하는' 형태의 전략적 투자를 단행한다. 오라클은 자사의 클라우드 시장 점유율 확대를 위해 OpenAI에 수천억 달러 규모의 컴퓨팅 인프라를 제공하는 계약을 맺는다.
AI 개발의 새로운 패러다임: 강화 학습(RL)과 환경 구축
인터넷의 텍스트 데이터만으로는 AI가 현실 세계의 복잡한 작업을 학습하는 데 한계가 있다.
이제 AI 개발의 핵심은 특정 작업을 시뮬레이션하고 학습할 수 있는 '가상 환경(Environment)'을 구축하고, 이를 통해 강화 학습(RL)을 시키는 것으로 이동하고 있다.
이미 프론티어랩들은 수십개의 스타트업들에게 데이터 정리-강화학습 환경세팅을 외주주고 있다.
커서 vs Claude Code/Codex
커서 대부분 매출은 Anthropic으로 가서 마진이 약하다. Anthropic의 대부분 매출도 Nvida/브로드컴으로 간다.
Cursor는 고객이 제품을 쓰면서 남기는 많은 데이터를 가지고 있고 이를 가지고 자체 모델을 훈련하거나 다른 프론티어 랩으로 전환할 수 있다. Cursor와 Anthropic은 적과의 동침.
프론티어랩 OpenAI와 MS의 관계는 더 복잡한 이익 공유/IP 계약으로 묶여있음.
Pretraining과 강화학습의 진행상황
인터넷의 텍스트를 이용한 사전 훈련은 '후반 이닝(late innings)’
비디오, 이미지, 오디오 데이터는 처리 비용이 매우 비싸 아직 완전히 활용하지 못했기 때문에 전반적인 사전 훈련은 '중반 이닝(mid-innings)'
강화 학습과 이러한 새로운 환경에 대해서는 이제 막 '첫 공을 던진(thrown the first ball)'
인간은 강화 학습자이며, 강화학습을 위한 디지털 환경 세팅, 현실 환경 세팅은 이제 시작했다.
물리적 지능과 로보틱스는 어떻습니까? 오늘날 구현(embodiment)의 상태는 어떤가요?
우리는 아직 멀었디. 로보틱스 스케일링에 있어서는 아직 덕아웃을 떠나지도 못했다. 하지만 가치 있으려면 와인 잔을 돌릴 수 있을 필요는 없고, 단지 물건을 안정적으로 집어 올바른 장소에 내려놓을 수만 있으면 된다.
왜 메타는 AI 리서처에게 $100m 보상을 제공할까?
AI 리서처들이 다루는 인프라는 수천억 달러, 5%만 효율적으로 만들 수 있으면 엄청난 수익. 대부분 AI 연구는 직관과 직감에 의존.
미국의 똑똑한 인재들이 의사를 포기하고 AI 분야로 몰리는 이유는 인재는 가장 높은 레버리지를 선택하기 때문.
역사적으로 모든 부족 현상은 과잉 공급으로 이어졌으며, 특히 리드 타임이 길고 자본 집약적인 산업에서 그렇습니다. AI 인프라를 과잉 구축할 위험은 없나요?
만약 모델이 개선되지 않는다면, 우리는 과잉 구축할 것이고 그것은 불황을 만들것.
하지만 튤립이나 암호화폐와 같은 과거의 거품과는 달리, 이것은 실재함.
그리고 세계에서 가장 강력한 대차대조표를 가진 마이크로소프트, 구글, 메타에 의해 주도.
하지만, 만약 스케일링 법칙이 계속된다면, 수요는 사실상 무한함.
만약 당신이 시니어 구글 엔지니어와 동등한 지능을 만들 수 있다면, 그것만으로도 소프트웨어 개발에서 2조 달러의 가치를 창출할 수 있음.
'토크노믹스(Tokonomics)'의 딜레마: 성능과 비용의 상충 관계
더 뛰어난 AI 모델은 더 많은 컴퓨팅 자원을 소모하므로, 제공 비용이 비싸고 응답 속도가 느려진다. 이로 인해 최고의 모델이 항상 최고의 사용자 경험이나 비즈니스 성과로 이어지지는 않는다.
OpenAI는 GPT-5를 이전 모델보다 훨씬 크게 만드는 대신, GPT-4o와 비슷한 크기로 유지하여 더 많은 사용자가 채택할 수 있도록 했다. 이는 최고의 성능보다 '광범위한 채택'과 '수익성'을 우선시한 전략적 결정.