Q: 사람들은 데이터 확장, 파라미터 확장, 컴퓨팅 확장에 대해 이야기해 왔습니다. 확장에 대해 생각하는 더 일반적인 방법이 있을까요? 다른 확장 축은 무엇입니까?
A: 사실일 것 같은 관점이 하나 있습니다. 예전 ML이 작동하던 방식은 사람들이 그냥 이것저것 만지작거리며(tinker) 흥미로운 결과를 얻으려던 것이었습니다. 과거엔 그랬죠. 그러다 '확장(scaling)'의 통찰이 도래했습니다. 스케일링 법칙(Scaling Laws), GPT-3가 나오면서 갑자기 모두가 확장을 해야 한다는 걸 깨달았습니다.
이건 언어가 사고에 영향을 미치는 예입니다. "확장"은 단 한 단어지만 사람들에게 무엇을 해야 할지 알려주기 때문에 매우 강력한 단어입니다. 사람들은 "확장을 시도해 보자"고 하죠. 그래서 "무엇을 확장하는가?"라고 묻습니다.
확장할 대상은 '사전 학습'이었습니다. 그것은 특정한 확장 레시피였죠. 사전 학습의 큰 돌파구는 이 레시피가 좋다는 것을 깨달은 데 있습니다. "이봐, 특정 크기의 신경망에 컴퓨팅과 데이터를 섞으면 결과가 나와. 레시피를 키우기만 하면 더 좋아질 거란 걸 알잖아."라고 하는 거죠.
이건 회사 입장에서도 아주 좋습니다. 자원을 투자할 수 있는 매우 리스크 낮은 방법을 제공하니까요. 연구에 자원을 투자하는 건 훨씬 더 어렵습니다. "연구자들아 가서 연구해서 뭔가 만들어와"라고 하는 것과, "데이터 더 가져오고 컴퓨팅 더 늘려"라고 하는 것의 차이죠. 사전 학습에서는 무언가 나온다는 걸 아니까요.
실제로 트위터 등에서 말하는 걸 보면 제미나이(Gemini) 같은 경우 사전 학습에서 더 많은 것을 얻는 방법을 찾은 것 같기도 합니다. 하지만 언젠가는 사전 학습 데이터가 고갈될 겁니다. 데이터는 명백히 유한하니까요. 그다음엔 무엇을 합니까? 이전에 했던 것과 다른 획기적인 사전 학습을 하거나, RL을 하거나, 아니면 다른 무언가를 해야겠죠.
하지만 이제 컴퓨팅 규모가 커졌습니다. 아주 커졌죠. 어떤 의미에서는 다시 '연구의 시대(age of research)'로 돌아왔습니다.
다르게 표현해 보자면, 2012년부터 2020년까지는 연구의 시대였습니다. 2020년부터 2025년까지는 확장의 시대였죠(오차 범위는 있겠지만). 사람들은 "이거 놀라워. 더 확장해. 계속 확장해."라고 했으니까요. '확장'이라는 단어 하나였죠.
하지만 이제 규모가 너무 큽니다. 정말로 "규모가 크지만 100배 더 늘리면 모든 게 달라질 거야"라고 믿나요? 물론 다르긴 하겠지만, "100배 늘리면 모든 게 변혁될 거야"라는 믿음이 진짜일까요? 저는 그렇게 생각하지 않습니다. 그래서 거대한 컴퓨터를 가진 채 다시 연구의 시대로 돌아온 겁니다.
Q: 아주 흥미로운 표현이네요. 그럼 방금 제기하신 질문을 다시 드려보겠습니다. 우리는 무엇을 확장하고 있으며, 레시피를 갖는다는 건 무엇을 의미할까요? 사전 학습에는 데이터나 컴퓨팅, 파라미터와 손실(loss) 사이에 물리학 법칙 같은 깔끔한 관계가 있었습니다. 우리가 찾아야 할 관계는 어떤 종류이며, 이 새로운 레시피는 어떤 모습일까요?
A: 우리는 이미 한 종류의 확장(사전 학습)에서 다른 종류의 확장(RL)으로의 전환을 목격했습니다. 이제 사람들은 RL을 확장하고 있습니다. 트위터 등에서 들리는 바에 따르면, 이 시점에서는 RL이 사전 학습보다 더 많은 컴퓨팅을 소비한다고 합니다. RL은 꽤 많은 컴퓨팅을 소비할 수 있거든요. 아주 긴 롤아웃(rollout)을 하니까요. 그리고 롤아웃 당 얻는 학습량은 상대적으로 적어서 정말 많은 컴퓨팅을 쓸 수 있습니다.
저는 이걸 확장이라고 부르지 않겠습니다. 저는 "뭐 하고 있어? 네가 하는 일이 가장 생산적인 일이야? 컴퓨팅을 더 생산적으로 쓸 방법은 없어?"라고 묻고 싶습니다. 아까 가치 함수 이야기를 했었죠. 사람들이 가치 함수를 잘 다루게 되면 자원을 더 생산적으로 쓰게 될 겁니다.
만약 모델을 훈련하는 완전히 다른 방법을 찾는다면, "이게 확장인가 아니면 그냥 자원을 쓰는 건가?"라고 할 수 있겠죠. 좀 모호해집니다. 예전 연구의 시대에는 "이거 해보자, 저거 해보자. 오, 흥미로운 게 나왔네" 했던 것처럼, 저는 그런 시대로의 회귀가 있을 것이라고 생각합니다.
Q: 다시 연구의 시대로 돌아왔다면, 한 걸음 물러나서 우리가 가장 깊이 생각해야 할 레시피의 부분은 무엇인가요? 가치 함수라고 하면 사람들은 이미 현재 레시피에서 LLM-as-a-Judge 같은 걸 시도하고 있습니다. 하지만 당신은 훨씬 더 근본적인 것을 염두에 두고 있는 것 같습니다. 사전 학습의 끝에 단계를 더 추가하는 게 아니라 사전 학습 자체를 재고해야 할까요?
A: 가치 함수 논의는 흥미로웠습니다. 가치 함수는 RL을 더 효율적으로 만들어 줄 것이고 그게 차이를 만들겠지만, 가치 함수로 할 수 있는 건 없어도 (더 느리겠지만) 할 수는 있다는 점을 강조하고 싶습니다.
제가 가장 근본적이라고 생각하는 것은, 이 모델들이 인간보다 극적으로 일반화를 못한다는 점입니다. 아주 명백하죠. 이게 매우 근본적인 문제 같습니다.