- 어디까지가 정말 버블이고, 어디까지가 유의미한 진전인지
- 컴퓨터공학을 이해하는 사람의 입으로 들어보고 싶다면 한번 꼭 들어보시기를 추천합니다.
- 이분은 참고로 조지타운 컴퓨터공학 전임교수 / 작가입니다. 썸네일이 지나치게 공격적이긴 하네요 이렇게 보니; 어중이떠중이 유튜버는 아니라는 이야기 입니다.
이건 제가 도저히 3줄 요약을 못하겠는데, 몇가지 정말 중요한 결론만 먼저 짚자면 이렇습니다:
결론:
- GPT3~GPT4 로 넘어가는 무렵에, "그냥 모델 사이즈 키우면 된다" 는 발견은 정말 신기하고 대단한게 맞았고, 조금 일렀을순 있지만 GPT4까지는 들어맞았습니다.
- 이 "법칙"을 믿고 수많은 기업들이 엄청난 투자를 했고, CEO들은 엄청난 주장들 ("2025년 안에 개발자 직업 절반이 없어진다") 을 쏟아냈습니다.
- 이젠 그 "법칙" 이 무어의 법칙의 한계마냥 한계에 도달한게 분명합니다. AI 업계는 투자와 마케팅을 위해 새로운 "scaling law"를 만들어내야 했고, 실제로 만들어냈습니다.
- 이 "new scaling law" 는 아무리 좋게 봐줘도 마케팅입니다. 2022년의 scaling law 랑은 아예 다른것입니다.
- "지금 우리가 가지고 있는 SOTA AI 가 우리가 이 방식으로 만들어낼 가장 좋은 AI 모델일 확률" 을 진지하게 고민하셔야 합니다.
디테일 하게 정리를 좀 해보자면:
1. AI 업계의 지금까지의 "내러티브"
대충 보는 사람들은 "AI 모델 그거 그냥 시간 지나니까 사이즈 커지고 더 좋아지는거 아닌가?" 정도로 생각하시는것 같은데, 실제로는 이게 왜 좋아지는거고, 어디까지 좋아질수 있는지에 대한 주장 자체가 계속 바뀌고 있습니다.
- 2022년의 scaling law 논문이 모든것의 시작점입니다.
- 이때, AI 업계는 "모델의 사이즈 (파라미터 / 데이터 / 훈련시간) 만 늘리면 성능이 무한히 증가 한다" 고 믿었습니다.
- 심지어 GPT3 => GPT4 의 성능 개선은 이 예측된 그래프를 그대로 따라갔습니다.
- 그래서 이때 "AGI는 2026년이면 나온다" 같은 주장이 횡횡하기 시작합니다. 그래프가 요구하는 만큼 규모만 키우면 된다고 정말로 다들 믿었으니까요.
- 하지만 2024년 말 무렵부터, 이 "예상 가능한" 성능 개선이 실패하기 시작했습니다. OpenAI가 GPT5 (코드네임 orion)을 훈련은 다 시켜놓고 런칭을 미룬것도 이것 때문이고요.
- 인정하는데 시간은 좀 걸렸지만, 이젠 아무도 "모델을 사이즈만 키우면 모든게 해결된다" 고 주장하지 않습니다.
- 이때 AI 업계의 "새로운" 내러티브가 나옵니다. "new scaling law" 입니다.
- 간단히 말해 이미 만들어진 모델을 파인튜닝하거나 모델을 쓰는 방식을 개선함으로서 모델은 여전히 무한히 스케일링 할수 있다는겁니다.
- 자세히는: pre-train 단계에서 파라미터 / 훈련 데이터 / 훈련 시간을 늘리는게 아니라, post-training 단계 에서 하는 다양한 작업들 - human reinforcement learning 이라던지, routing, agent ochestration 등을 통해 scaling이 가능하다는 이야기 입니다.
- OpenAI가 모델들을 깔끔하게 이름짓기 어려워진게 이때부터입니다. pre-training 된 모델 자체는 같은데, post-training에서 파인튜닝만 다른 varation들이 많아졌기 때문입니다. 단순히 모델 사이즈를 키우는 프로젝트는 실패했으니까요.
- 이 "new scaling law" 는 몇가지 명확한 문제가 있습니다.
- 일단 이건 기존에 주장된 "scaling law" 같은 명확하고 예측가능한 그래프 자체가 없습니다. 다시 말해, 이게 "scaling law" 는 고사하고 "law"가 맞는지 조차 불명확하다는 소리입니다.
- post-training 기법들은 적용 가능한 분야가 매우 제한적입니다. 프로그래밍/수학 같이 가짜 데이터를 만들기 쉽거나, 모델이 뱉어낸게 정답인지 아닌지 알기 쉬운 분야에서만 먹힌다는 소리입니다.
- post-training 에 의존하면 벤치마크를 gaming 하기가 너무 쉬워집니다. 기존에도 벤치마크들의 신뢰도에는 여러가지 의문이 있었지만 (벤치마크에 들어간 질문을 트레이닝해서 외워버린다던가...), 이젠 이미 훈련이 다 된 모델도, 특정한 벤치마크에 대한 강화학습을 잘 하는것 만으로 그 벤치마크에 대한 성능은 너무 쉽게 올릴수 있습니다.
- 예를들어 ARC-AGI 벤치마크에서 Grok4 (18%) 는 GPT5 (10%) 보다 거의 2배 높은 점수를 기록하고 있습니다. 정말로 Grok4 가 GPT5 보다 2배 이상 지능이 높다고 느끼시는 분 계신가요...?