"개인적으로 GPT-2를 처음 봤을 때 정말 엄청난 충격을 받았습니다. 이걸 보면서 생각했죠. 세상에, 이 모델의 규모를 100만 배만 키우면 인간보다 모든 일을 더 잘하게 되겠구나.
이건 현대사에서 가장 결정적인 경제적, 과학적 순간입니다. 다만 아직 우리가 그 사실을 모르고 있을 뿐이죠. 이 기술이 국가와 경제의 운명, 나아가 인류의 미래까지 결정하게 될 겁니다."
"당시 제 주변 사람들 중 약 10%는 저와 정확히 같은 반응을 보였습니다. 흥미롭게도 그들은 대체로 가장 똑똑한 사람들이었죠.
반면 나머지 90%는 별다른 감흥이 없었습니다. GPT-2가 특정 분야에서 보여주는 능력 자체는 그리 인상적이지 않았기 때문입니다. 언어를 번역하거나 문서를 요약하고, 여기저기서 코드 몇 줄을 작성하는 정도였죠.
하지만 중요한 건 개별 능력의 수준이 아니라 그 능력의 폭과 범용성이었습니다."
"그런데 사람들은 특정 분야의 성능만 보고 '별로 똑똑해 보이지 않는데?'라고 생각했습니다. 그래서 많은 사람이 대수롭지 않게 여기고 그냥 무시해 버렸죠."
"저는 지금도 똑같은 일이 반복되고 있다고 생각합니다.
지금 모델이 가진 한계를 보세요. 6개월만 지나면 지금 어렵다고 여기는 일들이 쉬워질 겁니다. 12개월이 지나면 지금은 불가능하다고 생각하는 일들을 AI 모델이 일상적으로 수행하게 될 겁니다.
GPT-2에서 목격했던 현상이 이제 점점 더 광범위한 영역에서 반복되고 있는 겁니다. 그리고 세상도 마침내 조금씩 그 사실을 받아들이기 시작했죠."
"당시를 기억합니다. 상당히 명망 있는 컴퓨터 과학자들과 AI, 머신러닝 분야의 리더들이 GPT-2 개발에 참여한 연구자들을 트위터에서 사실상 집단적으로 조롱했어요.
'이건 멍청한 짓이다. 이렇게 형편없는 모델을 가지고 왜 떠들어대는지 모르겠다'는 식이었죠.
당시에는 GPT-2가 정말 중요한 전환점이라고 믿는 것만으로도 사이비 과학자 취급을 받는 분위기였습니다."
"그런 과거는 이제 모두가 없었던 일처럼 취급하고 있습니다.
당시에 '이건 유사과학이다', '말도 안 되는 소리다'라고 비난하던 연구자들이 지금은 하나같이 LLM 기업에 입사 지원서를 내고 있거든요.
물론 우리는 특정 지원자에게 그 이야기를 대놓고 꺼내지는 않습니다.
하지만 그들을 보면서 속으로는 이렇게 생각하죠.
'당신이 2019년에 무슨 말을 했는지 우리는 기억합니다. 이 문제에 관한 한 당신의 판단은 신뢰할 수 없습니다.'"