Q: 다시 연구의 시대로 돌아간다면, 이제 분위기는 어떨까요? 예를 들어 알렉스넷(AlexNet) 이후에도 실험을 실행하는 데 드는 컴퓨팅 양은 계속 늘어났고 프런티어 시스템의 크기도 커졌습니다. 이번 연구의 시대에도 엄청난 양의 컴퓨팅이 필요할까요? 아니면 기록보관소로 돌아가 옛날 논문을 읽어야 할까요? 구글, OpenAI, 스탠포드에 계실 때 연구 분위기가 더 났던 시절엔 어땠나요? 커뮤니티에서 어떤 것들을 기대해야 할까요?
확장의 시대가 가져온 결과 중 하나는, 확장이 '방 안의 산소를 다 빨아들였다'는 것입니다. 확장이 공기를 다 빨아들이니 모두가 똑같은 일을 하기 시작했습니다. 아이디어보다 회사가 더 많은 세상이 되었죠.
실리콘밸리 격언 중에 "아이디어는 저렴하고 실행이 전부다"라는 말이 있습니다. 사람들이 많이들 그렇게 말하고 일리가 있습니다. 하지만 누군가 트위터에서 "아이디어가 그렇게 저렴하면 왜 아무도 아이디어를 내지 않는 거지?"라고 한 걸 봤는데, 그것도 사실입니다.
병목 현상 관점에서 연구 진행을 생각해보면 몇 가지 병목이 있습니다. 하나는 아이디어고, 하나는 그걸 실현할 능력(컴퓨팅이나 엔지니어링)입니다. 90년대로 돌아가 보면 꽤 좋은 아이디어를 가진 사람들이 있었습니다. 훨씬 더 큰 컴퓨터가 있었다면 아이디어가 유효함을 증명했을지도 모르죠. 하지만 그럴 수 없었기에 아무도 설득하지 못하는 아주 작은 데모만 가질 수 있었습니다. 그때의 병목은 컴퓨팅이었죠.
그러다 확장의 시대에 컴퓨팅이 많이 늘어났습니다. 물론 얼마나 필요한지는 의문이지만 컴퓨팅은 큽니다. 어떤 아이디어를 증명하는 데 더 많은 컴퓨팅이 필요한지 명확하지 않을 만큼 큽니다. 비유를 들자면, 알렉스넷은 GPU 2개로 만들었습니다. 그게 사용된 컴퓨팅의 전부였죠. 트랜스포머는 8개에서 64개 GPU로 만들었습니다. 2017년의 어떤 단일 트랜스포머 논문 실험도 64개 이상의 GPU를 쓰지 않았는데, 오늘날로 치면 GPU 2개 정도일까요? 레즈넷(ResNet)도 그렇죠. o1 추론도 세상에서 가장 컴퓨팅을 많이 쓰는 건 아니라고 주장할 수 있습니다.
그래서 연구를 위해서는 확실히 어느 정도의 컴퓨팅이 필요하지만, 연구를 위해 '역대 최대 규모'의 컴퓨팅이 필요한지는 전혀 명확하지 않습니다. 물론 절대적으로 최고의 시스템을 구축하려면 훨씬 더 많은 컴퓨팅이 도움이 된다고 주장할 수 있고 그건 사실입니다. 특히 모두가 같은 패러다임 안에 있다면 컴퓨팅이 큰 차별화 요소가 되니까요.
Q: 역사에 대해 여쭤보는 건 당신이 실제로 거기에 있었기 때문입니다. 실제로 무슨 일이 있었는지 확신이 안 서서요. 최소한의 컴퓨팅으로 아이디어를 개발하는 게 가능했다는 것처럼 들리는데, 트랜스포머가 즉시 유명해지진 않았잖아요. 더 높은 수준의 컴퓨팅에서 검증되면서 모두가 사용하고 그 위에 쌓아 올리는 무언가가 되었죠.
A: 맞습니다.
Q: 만약 SSI(Safe Superintelligence)에 50가지 다른 아이디어가 있다면, 다른 프런티어 랩들이 가진 종류의 컴퓨팅 없이 어떤 게 차기 트랜스포머고 어떤 게 깨지기 쉬운지 어떻게 알 수 있나요?
A: 거기에 대해 코멘트할 수 있습니다. 짧게 말해 SSI를 언급하셨는데, 구체적으로 우리 SSI가 연구를 위해 가진 컴퓨팅 양은 그렇게 적지 않습니다. 왜 그런지 간단한 산수로 설명할 수 있습니다. SSI는 30억 달러(약 4조 원)를 모금했는데 절대적으로 큰 금액입니다. 물론 "다른 회사들은 훨씬 더 많이 모으잖아"라고 할 수 있습니다. 하지만 그들의 컴퓨팅 대부분은 추론(inference)으로 나갑니다. 이 큰 숫자들, 큰 대출금들은 추론용으로 배정된 겁니다. 그게 첫 번째고요.
두 번째, 추론을 하는 제품을 가지려면 엔지니어, 영업 사원 등 대규모 인력이 필요합니다. 많은 연구가 온갖 제품 관련 기능을 만드는 데 할애되어야 하죠. 그래서 실제로 '연구'에 남는 것을 보면 차이는 훨씬 작아집니다.
또 다른 점은, 만약 당신이 다른 무언가를 하고 있다면 그걸 증명하기 위해 절대적인 최대 규모가 정말 필요한가 하는 겁니다. 저는 전혀 그렇지 않다고 생각합니다. 우리 경우엔, 우리가 하는 일이 옳다는 걸 우리 자신과 다른 사람들에게 확신시켜 주기에 충분한 컴퓨팅을 가지고 있습니다.
Q: OpenAI 같은 회사들이 실험에만 연간 50~60억 달러를 쓴다는 공개 추정치가 있습니다. 이건 추론 등에 쓰는 돈과는 별개로요. 즉, 그들은 당신들이 가진 전체 자금보다 더 많은 돈을 매년 연구 실험에 쓰고 있는 것 같은데요.
A: 그건 그 돈으로 무엇을 하느냐의 문제입니다. 그들의 경우, 다른 회사들의 경우, 훈련 컴퓨팅에 대한 수요가 훨씬 더 많습니다. 훨씬 더 많은 작업 흐름(work stream)이 있고, 다른 모달리티(modality)가 있고, 그냥 할 게 더 많습니다. 그래서 파편화되죠.
Q: SSI는 돈을 어떻게 벌 건가요?
A: 그 질문에 대한 제 대답은 이렇습니다. 지금은 연구에만 집중하고, 그 질문에 대한 답은 나중에 저절로 드러날 겁니다. 가능한 답은 아주 많을 거라고 생각합니다.
Q: SSI의 계획은 여전히 초지능으로 직행(straight shot)하는 것인가요?
A: 아마도요. 저는 거기에 장점이 있다고 생각합니다. 일상적인 시장 경쟁에 영향을 받지 않는다는 건 아주 좋은 일이니까요. 하지만 계획을 변경하게 만들 수 있는 두 가지 이유가 있다고 봅니다.
하나는 실용적인 이유인데, 타임라인이 길어질 경우입니다. 그럴 수 있죠.
둘째, 최고로 강력한 AI가 세상에 나와 영향을 미치는 것에 큰 가치가 있다고 생각합니다. 저는 이것이 의미 있게 가치 있는 일이라고 봅니다.
Q: 그렇다면 왜 기본 계획이 초지능으로 직행하는 것인가요? OpenAI나 Anthropic 같은 다른 회사들의 명시적인 생각은 "대중이 적응하고 대비할 수 있도록 점점 더 약한 지능을 내놓겠다"는 것인데요. 왜 초지능을 직접 만드는 게 잠재적으로 더 낫나요?
A: 찬성 논리와 반대 논리를 말씀드리겠습니다. 찬성 논리는, 시장에 있으면 '쥐 경주(rat race)'에 참여해야 한다는 어려움에 직면한다는 것입니다. 쥐 경주는 어려운 트레이드오프를 강요하기 때문에 꽤 힘듭니다. "우리는 이 모든 것에서 우리 자신을 격리하고 연구에만 집중해서, 준비되었을 때만 나오겠다"라고 말하는 건 좋습니다.
하지만 반대 논리도 타당하며, 이들은 서로 대립하는 힘입니다. 반대 논리는 "세상이 강력한 AI를 보는 것이 유용하다"는 것입니다. 강력한 AI를 보는 것이 유용합니다. 그게 AI를 소통할 수 있는 유일한 방법이기 때문입니다.
Q: 아이디어를 소통하는 게 아니라요?
A: 아이디어가 아니라 AI를 소통하는 겁니다.
Q: "AI를 소통한다"는 게 무슨 뜻인가요?
A: AI에 대한 에세이를 쓴다고 가정해 봅시다. "AI는 이렇게 될 거고, 저렇게 될 거고..."라고 씁니다. 읽는 사람은 "오, 흥미로운 에세이네"라고 하겠죠. 이제 AI가 이걸 하고 저걸 하는 걸 본다고 가정해 봅시다. 비교가 안 됩니다. 기본적으로 저는 AI가 대중에게 공개되는 것에는 큰 이점이 있다고 생각하며, 그것이 우리가 완전히 직행하지 않을 이유가 될 수 있습니다.