Q: 마지막 질문입니다. 연구적 취향이란 무엇인가요? 당신은 알렉스넷(AlexNet)부터 GPT-3에 이르기까지 딥러닝 역사상 가장 중요한 성과들을 낸 공동 저자로서, 세계 최고의 연구 취향을 가진 것으로 평가받습니다. 어떻게 그런 아이디어들을 떠올리시나요?
A: 저 개인적으로는 'AI가 어떠해야 하는가'에 대한 미적 감각(aesthetic)이 저를 이끕니다. 이는 사람들이 어떠한지(how people are) 생각하되, 올바르게 생각하는 데서 옵니다.
사람들이 어떠한지 '틀리게' 생각하기는 매우 쉽습니다. 하지만 사람들에 대해 '올바르게' 생각한다는 건 무엇을 의미할까요? 몇 가지 예를 들어보죠.
'인공 뉴런'이라는 아이디어는 뇌에서 직접 영감을 받은 것이며, 훌륭한 아이디어입니다. 왜냐구요? 뇌를 보면 여러 다른 기관들이 있고 주름(fold)들이 있지만, 주름은 아마 중요하지 않을 겁니다. 왜 뉴런이 중요하다고 생각할까요? 뉴런이 아주 많기 때문입니다. 그게 맞아 보이죠(feels right). 그래서 뉴런을 원하게 됩니다. 뉴런 사이의 연결을 변화시키는 어떤 국소적인 학습 규칙(local learning rule)을 원하게 됩니다. 뇌가 그렇게 할 것 같으니까요.
'분산 표현(distributed representation)'이라는 아이디어도 그렇습니다. 뇌가 경험에 반응한다는 아이디어, 따라서 우리 신경망도 경험으로부터 배워야 한다는 아이디어. 뇌는 경험에서 배우니 신경망도 경험에서 배워야 하죠.
스스로에게 묻게 됩니다. 무엇이 근본적인가, 근본적이지 않은가? 어떻게 되어야만 하는가(How things should be). 저는 여러 각도에서 생각하고 거의 아름다움(beauty)을 찾는 것, 아름다움과 단순함(simplicity)을 찾는 것이 저를 꽤 많이 인도해 왔다고 생각합니다.
추함(ugliness)이 설 자리는 없습니다. 아름다움, 단순함, 우아함, 뇌로부터의 올바른 영감. 이 모든 것이 동시에 존재해야 합니다.
그것들이 더 많이 존재할수록, '하향식 믿음(top-down belief)'에 대해 더 자신감을 가질 수 있습니다. 하향식 믿음은 실험이 당신을 반박할 때 당신을 지탱해 주는 것입니다. 왜냐하면 항상 데이터만 믿는다면... 때로는 올바른 일을 하고 있는데도 버그가 있어서 그럴 수 있거든요. 하지만 버그가 있다는 걸 모릅니다. 버그가 있다는 걸 어떻게 알까요? 디버깅을 계속해야 할지, 아니면 틀린 방향이라고 결론 내려야 할지 어떻게 알까요? 바로 하향식 믿음입니다. "상황은 이래야만 해. 이런 건 작동해야만 해. 그러니 계속해야 해."라고 말할 수 있는 거죠. 그게 하향식 믿음이고, 뇌에서 영감을 받은 다면적인 아름다움에 기초합니다.