Q: 노벨상 수상 강연에서 '자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전적인 학습 알고리즘에 의해 효율적으로 발견되고 모델링될 수 있다'는 매우 흥미로운 추측을 제시하셨습니다. 여기에 어떤 종류의 패턴이나 시스템이 포함될 수 있을까요? 생물학, 화학, 물리학, 어쩌면 우주론이나 신경과학까지요.
A: 노벨상 강연에서는 약간 도발적인 내용을 말하는 것이 전통이라고 느껴서 그 전통을 따르고 싶었습니다. 제가 거기서 말한 것은, 한 걸음 물러서서 우리가 알파고나 알파폴드 같은 프로젝트로 해온 모든 작업을 본다면, 그것들은 본질적으로 매우 조합적으로 고차원적인 공간의 모델을 구축하는 것입니다. 만약 바둑에서 최선의 수를 찾거나 단백질의 정확한 모양을 찾기 위해 무차별 대입(brute force)을 시도한다면, 우주의 시간으로도 부족할 겁니다. 그래서 훨씬 더 똑똑한 방법을 써야 했고, 두 경우 모두 우리는 그 환경의 모델을 구축했습니다. 그리고 그것이 탐색을 현명한 방식으로 이끌어 tractable(다루기 쉬운)하게 만들었죠.
자연 시스템인 단백질 접힘을 생각해 봅시다. 왜 그것이 가능할까요? 물리학은 어떻게 그것을 해낼까요? 단백질은 우리 몸에서 밀리초 단위로 접힙니다. 즉, 물리학은 우리가 이제 계산적으로 해결한 이 문제를 어떻게든 해결하고 있는 거죠. 저는 그것이 가능한 이유가 자연 속, 즉 자연 시스템에는 진화 과정에 의해 형성된 '구조'가 있기 때문이라고 생각합니다. 만약 그렇다면, 그 구조가 무엇인지 학습할 수 있을 것입니다.
Q: 이 관점은 거의 '진화할 수 있는 모든 것은 효율적으로 모델링될 수 있다'는 말로 요약할 수 있겠네요. 여기에 진실이 있다고 보십니까?
A: (데미스 하사비스) 네, 어느 정도 진실이 있다고 봅니다. 저는 가끔 그것을 '가장 안정적인 것의 생존(survival of the stablest)'이라고 부릅니다. 생명체에 대한 진화도 있지만, 지질학적 시간을 생각해보면, 산의 모양은 수천 년에 걸친 풍화 작용에 의해 형성되었습니다. 더 나아가 우주론적으로 행성의 궤도, 소행성의 모양 등도 모두 오랜 시간에 걸쳐 작용한 일종의 생존 과정을 거쳤습니다. 만약 그렇다면, 역으로 학습할 수 있는 어떤 종류의 패턴, 즉 올바른 해답이나 모양으로 가는 탐색을 돕는 일종의 매니폴드가 있어야 합니다. 그리고 그것은 효율적인 방식으로 예측을 가능하게 할 겁니다. 왜냐하면 그것은 무작위 패턴이 아니기 때문이죠.
그래서 큰 수를 소인수분해하는 것과 같은 인공적이거나 추상적인 것들에는 이것이 불가능할 수 있습니다. 수 공간에 패턴이 없다면 학습할 모델도 없고 탐색을 도울 방법도 없으니까요. 그럴 경우 무차별 대입을 해야 하고, 아마 양자 컴퓨터 같은 것이 필요할 겁니다. 하지만 우리가 관심 있는 자연의 대부분은 그렇지 않습니다. 이유가 있어 진화했고 시간이 지나며 살아남은 '구조'를 가지고 있습니다. 만약 그렇다면, 그것은 잠재적으로 신경망에 의해 학습 가능하다고 생각합니다.
Q 이론 컴퓨터 과학과 복잡성 이론의 팬으로서, 학습 가능한 시스템의 집합, 즉 '학습 가능한 자연 시스템(LNS)'과 같은 복잡도 종류(complexity class)를 만들 수 있다고 생각하십니까? 데미스 해사비스의 새로운 시스템 클래스로, 고전적 시스템으로 학습 가능한 자연 시스템 말입니다.
A: 저는 항상 P=NP 문제와 고전 시스템(비양자 시스템, 즉 튜링 머신)으로 모델링할 수 있는 것이 무엇인지에 매료되어 왔습니다. 그리고 그것이 바로 제가 여가 시간에 몇몇 동료들과 함께 연구하고 있는 것입니다. 즉, 이러한 유형의 신경망 프로세스로 해결할 수 있고, 물리학에 존재하며 구조를 가진 이러한 자연 시스템에 매핑될 수 있는 새로운 종류의 문제가 있어야 하는지에 대한 것입니다. 저는 그것이 물리학을 생각하는 매우 흥미로운 새로운 방식이 될 수 있다고 생각합니다. 이는 제가 물리학을 일반적으로 생각하는 방식과도 일치하는데, 저는 정보가 가장 기본적이라고 생각합니다. 정보는 에너지나 물질보다 더 근본적인 우주의 단위라고 봅니다. 저는 우주를 일종의 정보 시스템으로 생각합니다.
Q: 우주를 정보 시스템으로 생각하면 P=NP 문제는 물리학 문제가 됩니다. 그리고 이 문제는 우리가 겪고 있는 이 모든 현상을 해결하는 데 도움이 될 수 있는 질문이겠네요.
A: (데미스 하사비스) 맞습니다. 저는 그것이 물리학을 정보적으로 생각할 때 가장 근본적인 질문 중 하나라고 생각하며, 그 답은 매우 계몽적일 것이라고 봅니다.
Q: P=NP 문제에 대해 좀 더 구체적으로, 우리가 이야기하고 있는 것 중에 다항 시간 또는 상수 시간 계산을 미리 수행하여 거대한 모델을 구축하면 이론 컴퓨터 과학적인 방식으로 매우 어려운 문제들을 해결할 수 있다는 것을 보여줄 수 있는 무언가가 있다고 생각하십니까?
A: (데미스 하사비스) 네, 저는 이런 방식으로 설명될 수 있는 엄청난 종류의 문제들이 있다고 생각합니다. 우리가 알파고와 알파폴드를 했던 방식처럼, 시스템의 동역학, 즉 당신이 이해하려는 환경의 속성을 모델링하면 해답을 찾거나 다음 단계를 예측하는 탐색이 효율적으로, 기본적으로 다항 시간 내에 이루어지게 됩니다. 즉, 신경망과 같은 고전 시스템에 의해 다루기 쉬워지는 것이죠. 신경망은 일반 컴퓨터, 즉 고전 컴퓨터, 사실상 튜링 머신에서 실행됩니다. 그리고 저는 그 패러다임이 어디까지 갈 수 있는지가 가장 흥미로운 질문 중 하나라고 생각합니다. 저는 우리와 AI 커뮤니티 전반이 고전 시스템, 즉 튜링 머신이 우리가 이전에 생각했던 것보다 훨씬 더 많은 것을 할 수 있다는 것을 증명했다고 생각합니다. 단백질 구조를 모델링하거나 세계 챔피언 수준 이상으로 바둑을 두는 것과 같은 일들이죠. 10~20년 전만 해도 많은 사람들이 그것이 수십 년 후의 일이거나 단백질 접힘 같은 것을 하려면 양자 시스템이 필요할 것이라고 생각했을 겁니다. 그래서 저는 우리가 소위 고전 시스템이 할 수 있는 것의 표면조차 아직 긁지 않았다고 생각합니다. 그리고 물론, 고전 컴퓨터 위의 신경망 시스템 위에 구축된 AGI는 그것의 궁극적인 표현이 될 것입니다. 그러한 시스템이 할 수 있는 것의 한계는 매우 흥미로운 질문이며, P=NP 문제와 직접적으로 관련이 있습니다.
한 걸음 물러서서 우리가 해결한 시스템과 문제들을 보고, Veo 3와 같은 비디오 생성, 물리 렌더링, 조명 같은 것들을 보면, 물리학의 정말 핵심적인 것들을 다루고 있죠. 꽤 흥미롭습니다. 제 생각에 그것은 우주가 어떻게 구조화되어 있는지에 대한 꽤 근본적인 무언가를 말해주고 있습니다. 어떤 면에서는, 제가 AGI를 만들고 싶은 이유도 바로 과학자들이 P=NP와 같은 질문에 답하는 것을 돕기 위해서입니다.
Q: 고전 컴퓨터로 모델링할 수 있는 것의 범위에 대해 계속해서 놀라게 될 것 같습니다. 알파폴드 3의 상호작용 모델링, 유전 코드를 기능과 연결하는 알파지놈(AlphaGenome) 등은 모두 놀랍습니다. 조합 가능한 옵션이 너무 많다고 생각했는데, 효율적으로 모델링되는 커널을 찾을 수 있다는 것이죠.
A: 에너지 환경(energy landscape) 같은 곳에 어떤 구조가 있어서 따라갈 수 있는 경사(gradient)가 있기 때문입니다. 그리고 물론 신경망은 경사를 따르는 데 매우 능숙합니다. 그래서 따라갈 경사가 있고 목적 함수를 정확하게 명시할 수 있다면, 우리가 수십 년 동안 순진하게 생각해왔던 것처럼 모든 가능성을 열거하는 복잡성을 다룰 필요가 없습니다. 모든 가능성을 열거하면 완전히 다루기 힘들어 보이죠. 10의 300제곱 가지의 가능한 단백질 구조, 10의 170제곱 가지의 가능한 바둑 포지션 등, 이 모든 것은 우주의 원자 수보다 훨씬 많습니다. 어떻게 올바른 해답을 찾거나 다음 수를 예측할 수 있을까요? 하지만 그것이 가능하다는 것이 밝혀졌습니다. 그리고 물론 현실, 즉 자연은 그것을 해냅니다. 단백질은 접히죠. 그것은 만약 우리가 물리학이 그것을 어떻게 하는지 이해하고 그 과정을 모방할 수 있다면, 우리의 고전 시스템에서도 가능해야 한다는 확신을 줍니다. 그것이 바로 이 추측의 핵심입니다.