모든 지능을 갖춘 것이 AI가 아니라 지속적 학습을 통해 우리의 일상에 배포되고 지속적 학습을 통해서 더 나은 지능을 갖출 수 있는 것이 AGI다. 일을 빨리 배울 수 있는 AI가 나오면 규제가 덜한 국가/산업 현장에 먼저 배포되고 엄청나게 빠른 경제 성장을 이룰 수 있다. 지난 몇십년간 제조업을 집어 삼킨 중국이 AI로 재무장하면서 재도약한다면 어떤 세상이 오는걸까? 어쩌면 미국은 그게 가장 두렵지 않을까?
SSI의 모델은 배포를 통해 학습할 것이다 (SSI’s model will learn from deployment)
Q: 저는 최종 결과물을 안전하게 만드는 방법이 단순히 '어떻게 안전하게 만들까'를 생각하는 것만으로 이루어진 인간 공학이나 연구 분야를 떠올릴 수 없기 때문입니다. 비행기 사고율이 수십 년 전보다 훨씬 낮은 이유, 리눅스에서 버그를 찾는 게 훨씬 어려운 이유는 대부분 이 시스템들이 세상에 배포되었기 때문입니다. 실패를 목격하고, 수정되고, 시스템이 더 견고해졌죠. AGI나 초인적 지능이라고 왜 다르겠습니까? 특히 초지능의 해악이 단순히 사악한 클립 생산자가 돌아다니는 게 아니라면요. 이건 정말 강력한 것이고 우리는 사람들이 이것과 어떻게 상호작용할지, 무엇을 할지 개념화조차 못 하고 있습니다. 점진적인 접근(access)이 충격을 분산시키고 사람들이 대비하게 돕는 더 나은 방법 아닐까요?
A: 음, 그 점에 대해서는 직행 시나리오에서도 여전히 점진적인 출시(gradual release)를 할 겁니다. 그렇게 상상합니다.
점진주의(Gradualism)는 어떤 계획이든 내재된 구성 요소가 될 것입니다. 단지 문밖으로 내보내는 '첫 번째 것'이 무엇이냐의 문제입니다. 그게 첫 번째고요.
두 번째, 당신은 다른 사람들보다 '지속적 학습(continual learning)'을 더 옹호해 왔고, 저는 이것이 중요하고 올바른 것이라고 생각합니다. 이유는 이렇습니다. 언어가 사고에 영향을 미치는 또 다른 예를 들어보죠. 이번에는 모든 사람의 사고를 형성한 두 단어가 있다고 봅니다.
첫 번째 단어: AGI. 두 번째 단어: 사전 학습(Pre-training). 설명해 드리죠.
AGI라는 용어, 왜 존재할까요? 아주 특정한 용어잖아요. 제 생각에 AGI라는 용어가 존재하는 이유는 지능의 최종 상태를 설명하는 아주 중요하고 본질적인 서술어라서가 아니라, 다른 용어에 대한 반작용(reaction) 때문입니다. 그 용어는 바로 '좁은 AI(Narrow AI)'입니다.
게임 플레이와 AI의 고대사로 돌아가 보면, 체커 AI, 체스 AI, 컴퓨터 게임 AI를 보고 모두가 "이 좁은 지능 좀 봐. 체스 AI가 카스파로프를 이길 순 있어도 다른 건 못 하잖아. 너무 좁아. 인공 좁은 지능(ANI)이야."라고 했습니다. 그래서 이에 대한 반작용으로 어떤 사람들은 "이건 안 좋아. 너무 좁아. 우리에게 필요한 건 일반 AI(General AI), 모든 걸 다 할 수 있는 AI야."라고 했습니다. 그 용어가 탄력을 받았죠.
탄력을 받은 두 번째는 사전 학습, 구체적으로는 사전 학습의 레시피입니다. 사람들이 지금 RL을 하는 방식은 어쩌면 사전 학습의 개념적 각인(imprint)을 지우고 있는 것일지도 모릅니다. 하지만 사전 학습은 이런 속성을 가졌습니다. 사전 학습을 더 많이 하면 모델이 모든 면에서 거의 균일하게 더 좋아집니다. 일반 AI죠. 사전 학습이 AGI를 줍니다.
하지만 AGI와 사전 학습에 일어난 일은, 어떤 의미에서 목표를 지나쳐 버렸다는(overshot) 것입니다. "AGI"라는 용어를, 특히 사전 학습의 맥락에서 생각해보면, 인간은 AGI가 아니라는 걸 깨닫게 됩니다. 네, 기술의 토대는 분명히 있지만 인간은 엄청난 양의 지식이 부족합니다. 대신 우리는 지속적 학습에 의존합니다.
그러니 "성공해서 안전한 초지능을 만들었다"고 가정해 봅시다. 문제는 그걸 어떻게 정의하느냐입니다. 지속적 학습 곡선의 어디쯤에 있을까요? 저는 아주 의욕 넘치는 초지능 15세를 만듭니다. 아는 건 별로 없지만 훌륭한 학생이고 아주 열정적이죠. "가서 프로그래머가 돼, 가서 의사가 돼, 가서 배워."라고 합니다.
그러니까 배포 자체가 일종의 학습 시행착오 기간을 포함할 것이라고 상상할 수 있습니다. 완성된 물건을 툭 던져놓는 게 아니라 과정(process)인 거죠.
Q: 알겠습니다. 당신은 초지능이 경제의 모든 직업을 수행할 수 있는 '완성된 정신'이 아니라고 시사하는 거군요. 원래 OpenAI 헌장 같은 곳에서 정의하는 AGI는 인간이 할 수 있는 모든 경제적 작업을 할 수 있는 것이잖아요. 당신은 대신 모든 직업을 '배울 수 있는' 정신을 제안하는 것이고, 그게 초지능이라는 거군요.
A: 네. 하지만 학습 알고리즘을 갖추면, 인간 노동자가 조직에 합류하는 것과 같은 방식으로 세상에 배포됩니다.
Q: 정확합니다. 두 가지 일 중 하나가 일어날 것 같습니다. 하나는 이 초효율적인 학습 알고리즘이 초인적이 되어, ML 연구 작업에서 당신만큼, 혹은 잠재적으로 더 잘하게 되는 것입니다. 그 결과 알고리즘 자체가 점점 더 초인적으로 변하겠죠. 다른 하나는, 설령 그런 일이 안 일어나더라도, 만약 당신에게 단일 모델이 있다면—이건 명시적으로 당신의 비전인데—경제 전반에 배포되어 다른 일을 하고, 그 일을 배우고, 직무상 지속적으로 학습하며 인간이 익힐 수 있는 모든 기술을 익히는 모델의 인스턴스(instance)들이 있고, 그들의 학습 내용을 하나로 합친다면(amalgamating), 기본적으로 소프트웨어적인 자기 개선(recursive self-improvement) 없이도 기능적으로 초지능이 되는 모델을 갖게 됩니다. 왜냐하면 이제 경제의 모든 직업을 수행할 수 있는 하나의 모델이 생겼고, 인간은 우리 마음을 그런 식으로 합칠 수 없으니까요. 그렇다면 광범위한 배포로 인한 지능 폭발(intelligence explosion)을 예상하십니까?
A: 저는 빠른 경제 성장이 있을 가능성이 높다고 생각합니다. 광범위한 배포와 관련해서는 상충되는 두 가지 주장을 할 수 있습니다.
하나는, 일을 빨리 배우는 AI가 생기고 그게 많아지면, 이를 경제에 배포하려는 강력한 힘이 생길 것이라는 점입니다. 규제로 막지 않는다면요(막을 수도 있겠지만). 한동안 매우 빠른 경제 성장이 일어날 가능성이 매우 높습니다.
얼마나 빠를지는 알기 어렵습니다. 한편으론 매우 효율적인 일꾼이 있지만, 다른 한편으론 세상이 정말 크고 많은 물건들이 있으며 그 물건들은 다른 속도로 움직이니까요. 하지만 AI가... 그래서 매우 빠른 경제 성장이 가능하다고 봅니다.
우리는 규칙이 다른 여러 나라를 보게 될 것이고, 더 친화적인 규칙을 가진 나라들의 경제 성장이 더 빠를 것입니다. 예측하기 어렵네요.