Q: 그러니까 핵심은 일반화(generalization)군요. 두 가지 하위 질문이 있습니다. 하나는 표본 효율성(sample efficiency)에 관한 것입니다. 왜 모델은 인간보다 배우는 데 훨씬 더 많은 데이터가 필요할까요? 두 번째는 데이터 양과 별개로, 왜 모델에게 우리가 원하는 것을 가르치기가 인간보다 훨씬 어려울까요? 인간의 경우, 검증 가능한 보상이 반드시 필요하지 않습니다. 당신이 지금 연구자들을 멘토링하고 있다고 칩시다. 대화를 나누고, 코드를 보여주고, 생각하는 방식을 보여주면 그들은 당신의 사고방식과 연구 방법을 배웁니다. "자, 커리큘럼 다음 단계는 이거야. 어라 훈련이 불안정하네" 같은 번거로운 과정이나 검증 가능한 보상 설정이 필요 없죠.
인간의 표본 효율성에 대한 한 가지 가능한 설명으로 진화를 고려해야 합니다. 진화는 우리에게 가장 유용한 정보를 소량 제공했습니다. 시각, 청각, 움직임 같은 것에 대해서는 진화가 우리에게 많은 것을 주었다는 강력한 근거가 있습니다. 예를 들어 인간의 손재주(dexterity)는... 로봇도 시뮬레이션에서 엄청난 훈련을 시키면 손재주가 좋아질 수 있습니다. 하지만 현실 세계에서 로봇이 사람처럼 새로운 기술을 빨리 배우도록 훈련하는 건 요원해 보입니다.
이런 경우엔 "그래, 움직임. 우리 조상인 다람쥐들은 움직임이 중요했지. 그러니 엄청난 사전 지식(prior)을 갖고 있을 거야"라고 할 수 있습니다. 시각에 대해서도 같은 말을 할 수 있죠. 얀 르쿤(Yann LeCun)이 아이들은 10시간 연습하면 운전을 배운다는 점을 지적했는데, 사실입니다. 하지만 우리의 시각은 정말 좋습니다. 저만 해도 5살 때 자동차에 열광했는데, 그때 이미 자동차 인식 능력은 운전하기에 충분했을 겁니다. 5살 때는 데이터를 그렇게 많이 보지도 못하죠. 부모님 집에만 있으니 데이터 다양성도 낮고요. 그러니 그건 진화 덕분일 수 있습니다.
하지만 언어, 수학, 코딩은요? 아마 아닐 겁니다.
Q: 그래도 모델보다는 더 나은 것 같아요. 분명히 모델들은 언어, 수학, 코딩에서 평균적인 인간보다 더 잘해요. 하지만 학습에 있어서 평균적인 인간보다 더 나은가요?
물론입니다. 제가 하려던 말은 언어, 수학, 코딩, 특히 수학과 코딩의 경우, 인간이 학습을 잘하게 만드는 무언가는 복잡한 사전 지식이라기보다는 뭔가 더 근본적인 것일 가능성이 높다는 것입니다.
A: 인간이 어떤 기술에서 엄청난 신뢰성을 보인다고 칩시다. 만약 그 기술이 수억 년 동안 우리 조상들에게 매우 유용했던 것이라면, 인간이 진화적 사전 지식 덕분에 잘한다고 주장할 수 있습니다. 비록 그게 어떻게 인코딩되어 있는지는 명확하지 않더라도요.
하지만 최근까지 존재하지 않았던 영역(수학, 코딩 등)에서 인간이 뛰어난 능력, 신뢰성, 견고성, 학습 능력을 보인다면, 이는 인간이 그저 '더 나은 기계 학습(machine learning)' 능력을 가지고 있다는 징후에 가깝습니다.
Q: 그게 무엇인지 어떻게 생각해야 할까요? ML 유추 대상은 무엇입니까? 더 적은 표본을 쓰고, 더 비지도(unsupervised) 방식이고... 아이가 운전을 배우는 건, 정확히 말해 10대가 운전을 배우는 건 미리 만들어진 검증 가능한 보상을 받는 게 아닙니다. 기계와 환경과의 상호작용에서 오죠. 표본도 훨씬 적게 들고, 더 비지도적이고, 더 견고해 보입니다.
A: 인간의 견고성은 정말 엄청나죠.
Q: 이 모든 일이 동시에 일어나는 이유를 통합적으로 생각하는 방법이 있나요? 이를 실현할 수 있는 ML 유추 대상은 무엇입니까?
A: 당신이 질문한 것 중 하나는 "어떻게 10대 운전자가 외부 교사 없이 스스로 교정하고 경험에서 배울 수 있는가"입니다. 답은 그들이 '가치 함수'를 가지고 있다는 것입니다. 그들은 일반적인 감각을 가지고 있는데, 인간의 경우 이것이 매우 견고합니다. 중독 같은 몇 가지 예외를 빼면 인간의 가치 함수는 매우 견고합니다.
그래서 운전을 배우는 10대의 경우, 운전을 시작하자마자 자신이 어떻게 운전하고 있는지, 얼마나 못하는지, 얼마나 불안한지 즉시 감을 잡습니다. 그리고 "오케이" 하고 보죠. 물론 10대들의 학습 속도는 너무 빨라서 10시간이면 충분하죠.
Q: 인간은 어떤 해결책을 가진 것 같은데, 어떻게 하는 건지, 왜 기계에게는 그게 그렇게 어려운지 궁금합니다. 이런 걸 가능하게 하려면 모델 훈련 방식을 어떻게 재개념화해야 할까요?
A: 아주 훌륭한 질문이고, 저도 많은 의견을 가지고 있습니다. 하지만 불행히도 우리는 모든 머신러닝 아이디어를 자유롭게 논의할 수 있는 세상에 살고 있지 않습니다. ㅠㅠ 이것도 그중 하나죠.
아마 방법이 있을 겁니다. 할 수 있다고 생각합니다. 사람들이 그렇게 한다는 사실 자체가 가능하다는 증거죠.
물론 장애물이 하나 있을 수 있습니다. 인간의 뉴런이 우리가 생각하는 것보다 더 많은 계산을 수행할 가능성입니다. 만약 그게 사실이고 중요한 역할을 한다면 일이 더 어려워질 수 있습니다. 하지만 그렇다 하더라도 저는 이것이 제가 의견을 가지고 있는 어떤 머신러닝 원리의 존재를 가리킨다고 생각합니다. 하지만 안타깝게도 상황상 자세히 논의하기는 어렵습니다.
Q: 아무도 이 팟캐스트 안 들어요, 일리야. ㅠㅠ