우리는 자석 안에 플라즈마를 가두는 것을 돕고 어쩌면 재료 설계까지 지원하여 그 과정을 가속화하고 싶습니다. 정말 흥미로운 일이죠. 그리고 구글의 양자 AI 팀과도 협력하고 있습니다. 우리는 기계 학습을 사용하여 그들의 오류 수정 코드를 돕고 있습니다. 핵융합은 항상 '성배(holy grail)'였습니다. 물론 태양열도 매우 유망하다고 생각합니다. 사실상 하늘과 구름 속에 있는 핵융합로를 사용하는 셈이니까요. 하지만 우리가 모듈식 핵융합로를 가질 수 있다면, 무제한적이고 재생 가능하며 깨끗한 에너지라는 약속은 분명 모든 것을 변화시킬 것입니다. 그것이 성배죠. 그리고 물론, 그것이 우리가 기후 문제에 도움을 줄 수 있는 방법 중 하나입니다.
물론 에너지와 오염 문제 등을 직접적으로 해결하고 기후 위기를 돕습니다. 하지만 에너지가 정말로 재생 가능하고 깨끗하며, 거의 공짜에 가까울 정도로 저렴해진다면 담수화 플랜트를 거의 어디에나 설치할 수 있게 되어 물 접근성 문제 같은 다른 많은 것들이 해결 가능해집니다. 심지어 로켓 연료를 만드는 것도요. 바닷물에는 수소와 산소가 많이 포함되어 있고, 그게 기본적으로 로켓 연료거든요. 단지 수소와 산소를 분리하는 데 에너지가 많이 들 뿐이죠. 하지만 에너지가 저렴하고 재생 가능하며 깨끗하다면, 왜 안 하겠습니까? 24시간 내내 생산할 수도 있을 겁니다.
능력과 확장의 역설
Q: 저는 알파고(AlphaGo)와 알파제로(AlphaZero)의 이야기도 궁금합니다. 인간의 경험을 모두 제거했더니 모델이 오히려 더 발전했었죠. 지금 만들고 있는 모델들에서도 그런 과학적 혹은 수학적 버전이 있나요?
현재 우리가 구축하려는 것은 알파고에 더 가깝다고 생각합니다. 사실상 거대 언어 모델, 파운데이션 모델들은 인터넷에 있는 모든 인간의 지식, 오늘날의 거의 모든 것을 가지고 시작하며, 이를 유용한 압축물로 만들어 검색하고 일반화할 수 있게 합니다. 하지만 알파고처럼 모델을 사용하여 유용한 추론 과정을 지시하고, 계획 아이디어를 내고, 그 시점에 문제에 대한 최적의 해결책을 찾아내는 검색이나 사고(thinking) 기능을 그 위에 얹는 것은 아직 초기 단계라고 생각합니다. 그래서 저는 현재 우리가 인터넷 같은 인간 지식의 한계에 갇혀 있다고 느끼지 않습니다. 현재의 주된 문제는 알파고 때처럼 신뢰할 수 있는 방식으로 이 시스템들을 완전히 사용하는 법을 아직 모른다는 것입니다.
물론 게임이라서 훨씬 쉬웠던 점은 있습니다. 알파고가 있다면, 알파 시리즈에서 그랬던 것처럼 알파제로로 돌아가서 스스로 지식을 발견하게 할 수 있을 겁니다. 그것이 다음 단계가 되겠지만, 분명 더 어렵습니다. 그래서 먼저 알파고와 같은 시스템으로 첫 단계를 만들고, 그다음에 알파제로와 같은 시스템을 생각하는 것이 좋다고 봅니다. 하지만 오늘날 시스템에서 빠져 있는 것 중 하나는 온라인 학습과 지속적인 학습 능력입니다. 우리는 시스템을 훈련시키고, 조정하고, 사후 훈련을 시킨 다음 세상에 내놓습니다. 하지만 우리가 그러하듯이 세상 밖에서 계속 배우지는 않습니다. 이것이 AGI를 위해 필요한, 현재 시스템에서 빠진 또 다른 중요한 조각이라고 생각합니다.
Q: 작년 이맘때만 해도 스케일링(규모 확장)이 결국 벽에 부딪힐 것이라는 이야기, 데이터가 고갈될 것이라는 이야기가 많았습니다. 스케일링이 벽에 부딪히는 문제가 있지 않았나요?
많은 사람들이 그렇게 생각했던 것 같습니다. 특히 다른 회사들의 진전이 더뎌지면서요. 하지만 우리는 사실상 어떤 벽도 본 적이 없습니다. 제가 말하고 싶은 것은 수확 체감(diminishing returns)이 있을 수는 있다는 것입니다. 제가 이렇게 말하면 사람들은 "아, 그럼 수확이 없다는 거구나. 0 아니면 1이구나. 기하급수적이거나 점근적이거나 둘 중 하나구나"라고만 생각합니다. 아닙니다. 사실 그 두 체제 사이에는 많은 공간이 있습니다. 우리는 그 사이에 있다고 생각합니다. 새로운 버전을 출시할 때마다 모든 벤치마크 성능이 두 배가 되지는 않을 겁니다. 3, 4년 전 아주 초기에는 그랬을지 모릅니다. 하지만 제미나이 3에서 보듯이 투자할 가치가 충분한 의미 있는 개선을 얻고 있습니다. 그래서 우리는 둔화를 보지 못했습니다.
가용 데이터가 고갈되는 것 아니냐는 이슈가 있습니다. 하지만 합성 데이터(synthetic data)나 생성 등을 통해 이를 우회할 방법들이 있습니다. 시스템이 충분히 좋아지면 자체 데이터를 생성하기 시작할 수 있습니다. 특히 코딩이나 수학 같은 특정 도메인에서는 답을 검증할 수 있으므로 어떤 의미에서는 무제한의 데이터를 생산할 수 있습니다. 이 모든 것들은 연구 과제입니다. 그리고 저는 우리가 항상 연구 우선(research-first)이었다는 것이 우리의 장점이라고 생각합니다. 우리는 항상 가장 넓고 깊은 연구 인력을 보유해 왔습니다. 지난 10년의 발전, 트랜스포머든 알파고든 알파제로든 방금 논의한 모든 것들을 돌아보면 모두 구글이나 딥마인드에서 나왔습니다. 그래서 저는 더 많은 혁신, 과학적 혁신이 필요하다면 지난 15년 동안 많은 대형 돌파구를 마련했던 것처럼 우리가 그것을 해낼 곳이라고 장담합니다.
그래서 저는 지금 상황이 그렇게 전개되고 있다고 봅니다. 사실 저는 지형이 더 험난해지는 것을 정말 좋아합니다. 왜냐하면 그때는 이미 충분히 어려운 세계적 수준의 엔지니어링뿐만 아니라, 우리가 전문으로 하는 세계적 수준의 연구와 과학을 결합해야 하기 때문입니다. 게다가 우리는 TPU와 오랫동안 투자해 온 다른 것들을 포함한 세계적 수준의 인프라라는 이점도 가지고 있습니다. 그래서 그 조합이 스케일링 부분뿐만 아니라 혁신의 최전선에 설 수 있게 해 준다고 생각합니다. 사실상 우리 노력의 50%는 스케일링에, 50%는 혁신에 있다고 보시면 됩니다. 제 내기에는 AGI에 도달하려면 둘 다 필요할 겁니다.