로봇에서도 사람처럼 움직이기 위해서 바로 다음 턴이 아니라 청크로 묶어서 학습시켰더니 자연스럽게 움직이는 연구(ACT)가 있었는데 강화학습 과정에 나오는 궤적을 학습에 사용한다면 그것이 사람이 가진 가치함수를 모방할 수 있지 않을까? 이전에 안드레는 이 과정이 굉장히 복잡하고 어렵다고 이야기했었는데, 일리아는 어렵지만 딥러닝이 못할 건 없다라는 생각을 하고 있고, SSI에서 이 방향의 무언가를 하고 있지 않을까?
감정과 가치함수
Q: 사전 학습에 대한 인간의 유추 대상(analog)은 없다고 생각하시나요? 사람들이 제안한 유추 대상들이 있습니다. 하나는 경제적으로 생산적이지 않지만 세상을 더 잘 이해하게 되는 인간의 첫 18년, 15년, 혹은 13년을 생각하는 것입니다. 다른 하나는 30억 년 동안의 진화 과정이 탐색을 수행하고 그 결과로 인간의 생애라는 인스턴스가 나온다고 보는 것입니다. 이 중 어느 것이 사전 학습과 유사하다고 보시나요? 사전 학습이 아니라면 인간의 평생 학습은 무엇과 같다고 생각하십니까?
A: 둘 다 사전 학습과 어느 정도 유사점이 있고, 사전 학습이 이 두 가지 역할을 모두 수행하려고 한다고 생각합니다. 하지만 큰 차이점들도 있습니다. 사전 학습 데이터의 양은 정말, 정말 엄청납니다.
그런데 인간은 15년 동안 사전 학습 데이터의 아주 작은 부분만 보고도 무언가 훨씬 덜 알긴 하지만, 아는 것에 대해서는 훨씬 더 깊이 있게 압니다. 이미 그 나이에는 우리 AI들이 저지르는 실수를 하지 않죠.
또 다른 점이 있습니다. 진화와 비슷한가? 라고 묻는다면 답은 '아마도'입니다. 하지만 이 경우엔 진화가 더 우위에 있을 수 있습니다.
제가 읽은 사례가 하나 기억나는데요. 신경과학자들이 뇌에 대해 배우는 방법 중 하나는 뇌의 특정 부위가 손상된 사람들을 연구하는 것입니다. 상상할 수 있는 가장 기이한 증상을 가진 사람들이 있는데, 정말 흥미롭습니다. 관련 있는 사례 하나가 떠오릅니다. 어떤 뇌 손상, 뇌졸중이나 사고로 감정 처리 능력을 잃은 사람에 대한 글을 읽었습니다. 그래서 그는 아무런 감정도 느끼지 못하게 됐죠.
그는 여전히 말을 아주 잘하고 작은 퍼즐도 풀 수 있고 테스트상으로는 멀쩡해 보였습니다. 하지만 감정이 없었습니다. 슬픔도, 분노도, 활기도 느끼지 못했죠. 그런데 그는 어떤 결정을 내리는 데 있어 극도로 무능해졌습니다. 어떤 양말을 신을지 결정하는 데 몇 시간이 걸리고, 아주 형편없는 재무 결정을 내리게 되었습니다.
이것은 우리의 타고난 감정이 우리가 생존 가능한 에이전트(viable agent)가 되는 데 어떤 역할을 하는지 말해줍니다. 당신의 사전 학습 질문과 연결하자면, 만약 사전 학습에서 모든 것을 뽑아내는 데 충분히 능숙하다면 그런 것도 얻을 수 있을지도 모릅니다. 하지만 그건... 글쎄요, 사전 학습에서 얻을 수 있을 수도 있고 없을 수도 있습니다.
Q: 그 "무언가"가 무엇인가요? 단순히 감정 그 자체는 아닐 테고요. 어떤 결정에 대한 최종 보상이 무엇이어야 하는지 알려주는, 거의 가치 함수(value function) 같은 것 같아 보이는데요.
네, 그것이 사전 학습에서 암묵적으로 나올 것이라고 생각하지 않으시나요? 나올 수도 있다고 생각합니다. 단지 100% 확실하지 않다는 것뿐입니다.
Q: 하지만 그게 뭐죠? 감정을 어떻게 생각하십니까? 감정에 대한 ML(기계학습)의 유추 대상은 무엇입니까?
일종의 가치 함수 같은 것이어야겠죠. 하지만 훌륭한 ML 유추 대상은 없다고 봅니다. 지금 당장은 사람들이 하는 작업에서 가치 함수가 아주 두드러진 역할을 하지 않기 때문입니다.
Q: 청중을 위해 가치 함수가 무엇인지 정의해 주실 수 있나요?
물론입니다. 기꺼이 설명해 드리죠. 사람들이 강화 학습(RL)을 할 때, 지금 RL이 수행되는 방식, 즉 순진하게(naively) 훈련하는 방식은 이렇습니다. 신경망에 문제를 주고 "풀어봐"라고 합니다. 모델은 수천, 수십만 번의 행동이나 생각 같은 것을 거쳐 해결책을 내놓습니다. 그 해결책이 채점됩니다. 그리고 그 점수는 궤적(trajectory)에 있는 모든 단일 행동에 훈련 신호를 주는 데 사용됩니다.
즉, 해결하는 데 오랜 시간이 걸리는 작업을 훈련한다면, 제안된 해결책이 나올 때까지는 아무런 학습도 일어나지 않는다는 뜻입니다. 이것이 강화 학습이 순진하게 수행되는 방식이고, o1이나 R1이 표면적으로 수행되는 방식입니다.
가치 함수는 "내가 항상은 아니지만 가끔은 네가 잘하고 있는지 못하고 있는지 말해줄 수 있어"라고 하는 것과 같습니다. 가치 함수의 개념은 어떤 영역에서는 다른 영역보다 더 유용합니다. 예를 들어 체스를 둘 때 말을 잃으면, "망했네"라고 알 수 있죠. 게임이 끝날 때까지 갈 필요 없이 방금 한 행동이 나빴고, 그 이전의 행동들도 나빴다는 걸 알 수 있습니다. 가치 함수는 맨 끝까지 기다리는 시간을 단축(short-circuit)시켜 줍니다.
수학이나 프로그래밍 같은 것을 한다고 가정해 봅시다. 특정 해결책이나 방향을 탐색하고 있습니다. 1000단계를 생각한 끝에 이 방향은 가망이 없다고 결론 내렸습니다. 이 결론을 내리자마자, 당신은 이미 1000 타임스텝 전에 이 길을 가기로 결정했을 때에 대한 보상 신호를 얻을 수 있습니다. 실제로 제안된 해결책을 내놓기 훨씬 전에 "다음번엔 비슷한 상황에서 이 길로 가지 말아야지"라고 말할 수 있는 거죠.
Q: 딥시크(DeepSeek) R1 논문에서는 궤적의 공간이 너무 넓어서 중간 궤적에서 가치로 매핑하는 것을 학습하기 어려울 수 있다고 했습니다. 또 코딩에서는 잘못된 아이디어를 냈다가 돌아가서 고치는 과정이 있기도 하고요. 이건 딥러닝에 대한 믿음이 너무 부족한 소리처럼 들리는데요.
물론 어려울 수는 있지만 딥러닝이 못 할 건 없습니다. 제 예상은 가치 함수가 유용해야 한다는 것이고, 이미 사용되고 있지 않다면 앞으로 사용될 것이라 전적으로 기대합니다.
제가 감정 중추가 손상된 사람 이야기를 통해 암시하려던 것은, 인간의 가치 함수가 진화에 의해 하드코딩된 감정에 의해 중요한 방식으로 조절된다는 것을 시사한다는 점입니다. 그리고 아마도 그것이 사람들이 세상에서 효과적으로 활동하는 데 중요할 것입니다.
Q: 그게 제가 여쭤보려던 겁니다. 감정이나 가치 함수에 대해 정말 흥미로운 점은, 이해하기엔 꽤 단순하면서도 효용이 엄청나다는 것입니다.
A: 두 가지 답변이 있습니다. 우리가 배우는 것들이나 우리가 이야기하는 AI에 비해 감정이 상대적으로 단순하다는 점에는 동의합니다. 심지어 너무 단순해서 인간이 이해할 수 있는 방식으로 지도화(map out)할 수도 있을 겁니다. 그렇게 하면 멋지겠죠.
하지만 효용 측면에서는 '복잡성-견고성 트레이드오프(complexity-robustness tradeoff)'라는 게 있다고 봅니다. 복잡한 것은 매우 유용할 수 있지만, 단순한 것은 매우 광범위한 상황에서 유용합니다.
우리가 보는 현상을 해석하는 한 가지 방법은, 우리가 포유류 조상으로부터 진화한 감정을 가지고 있고, 호미니드(hominid) 시절에 아주 조금 미세 조정되었다는 것입니다. 포유류에게는 없을 수도 있는 사회적 감정들이 꽤 있지만, 그리 정교하진 않습니다. 그리고 정교하지 않기 때문에 우리가 살던 곳과 매우 다른 이 세상에서도 우리에게 그렇게 잘 봉사하는 것입니다.
물론 실수도 합니다. 예를 들어 배고픔이 감정으로 쳐주는지 논란이 있겠지만, 풍요로운 음식으로 가득 찬 이 세상에서 배고픔이라는 직관적인 느낌은 우리를 올바르게 인도하지 못하고 있습니다.