이 논의를 어렵게 만드는 또 다른 점은 우리가 존재하지 않는, 만드는 법도 모르는 시스템에 대해 이야기하고 있다는 것입니다. 그게 제 믿음입니다. 사람들이 지금 하고 있는 것은 어느 정도 가다가 힘이 빠질(peter out) 것입니다. 계속 개선되겠지만 "그것(it)"은 아닐 겁니다. "그것"을 우리는 만드는 법을 모르고, 많은 것이 '신뢰할 수 있는 일반화'를 이해하는 데 달려 있습니다.
하나 더 말씀드리자면, 정렬을 어렵게 만드는 원인 중 하나는 인간 가치를 배우는 능력이 취약하다는 것입니다. 그리고 그것을 최적화하는 능력도 취약합니다. 실제로 최적화하는 법을 배우니까요. "이 모든 게 신뢰할 수 없는 일반화의 사례 아닌가요?"라고 말할 수 있지 않을까요? 왜 인간은 훨씬 더 잘 일반화하는 것처럼 보일까요? 일반화가 훨씬 더 좋다면 어떻게 될까요? 어떤 효과가 있을까요? 하지만 그런 질문들은 지금으로선 여전히 대답할 수 없습니다.
Q: AI가 잘 진행되는 모습은 어떻게 생각해야 할까요? AI가 어떻게 진화할지 범위를 잡으셨습니다. 지속적 학습 에이전트가 있을 것이고, AI는 매우 강력할 것이며, 아마도 많은 다른 AI들이 있을 것입니다. 대륙 크기의 컴퓨팅 지능들이 돌아다니는 상황을 어떻게 생각하십니까? 얼마나 위험한가요? 어떻게 덜 위험하게 만들까요? 그리고 정렬되지 않은 AI나 나쁜 행위자가 있을 수 있는 균형(equilibrium)을 어떻게 보호할까요?
A: 제가 "지각 있는 생명체를 아끼는 AI"를 좋아했던 이유 중 하나가 이겁니다. 그게 좋은지 나쁜지는 논쟁할 수 있습니다. 하지만 만약 이 극적인 시스템들 중 처음 N개가 인류를 아끼고 사랑한다면, 혹은 지각 있는 생명체를 아낀다면(물론 이것도 달성되어야 합니다. 달성되어야 해요), 그렇다면 저는 꽤 오랫동안 상황이 잘 풀릴 수 있다고 봅니다.
그러면 장기적으로 무슨 일이 일어날까 하는 질문이 남습니다. 장기적 균형을 어떻게 달성할까요? 거기에도 답이 있다고 생각합니다. 저는 이 답을 좋아하지 않지만, 고려해 봐야 합니다.
장기적으로 "강력한 AI들이 존재하는 세상이라면 단기적으로는 보편적 고소득(universal high income)을 얻고 다들 잘 살 거야"라고 말할 수 있습니다. 하지만 불교 신자들은 뭐라고 합니까? "변화만이 유일한 상수다." 상황은 변합니다. 정부나 정치 구조 같은 게 있고 기능하다가 유효기간이 지나면 멈춥니다. 우리는 그런 일이 일어나는 걸 늘 봅니다.
장기적 균형을 위한 한 가지 접근법은 모든 사람이 자신의 명령을 수행하는 AI를 갖는 것입니다. 그게 영구적으로 유지될 수 있다면 좋겠죠. 하지만 단점은 AI가 나가서 돈을 벌어오고 정치 영역에서 그 사람의 필요를 대변하고, "제가 이런 걸 했고 상황은 이렇습니다"라고 보고서를 쓰면 사람은 "좋아, 계속해"라고 하는 식이라는 겁니다. 사람은 더 이상 참여자가 아닙니다. 그건 위태로운 위치라고 할 수 있습니다.
먼저 말해두지만 저는 이 해결책을 좋아하지 않습니다. 하지만 해결책이긴 합니다. 해결책은 사람들이 어떤 종류의 뉴럴링크++(Neuralink++) 같은 것으로 '부분적 AI(part-AI)'가 되는 것입니다.
그 결과 무슨 일이 일어나냐면, 이제 AI가 무언가를 이해하면 우리도 이해하게 됩니다. 이해가 통째로 전달되니까요. 그래서 AI가 어떤 상황에 처하면 당신도 그 상황에 완전히 참여하게 됩니다. 저는 이것이 균형에 대한 답이라고 생각합니다.
Q: 수백만 년, 혹은 수십억 년 전 전혀 다른 환경에서 발달한 감정이 여전히 우리의 행동을 강력하게 인도하고 있다는 사실이 정렬 성공의 예시인지 궁금합니다. 무슨 뜻이냐면, 가치 함수인지 보상 함수인지 모르겠지만, 뇌간(brainstem)에는 "더 성공적인 누군가와 짝짓기하라"는 지시가 있습니다. 대뇌피질은 현대적 맥락에서 성공이 무엇인지 이해하는 부분이죠. 하지만 뇌간은 대뇌피질을 정렬시켜 "네가 성공을 무엇으로 인식하든—난 그게 뭔지 이해할 만큼 똑똑하지 않지만—넌 여전히 이 지시를 따를 거야"라고 말할 수 있습니다.
A: 더 일반적인 요점이 있다고 생각합니다. 저는 진화가 어떻게 고차원적인 욕구를 인코딩하는지 정말 미스터리라고 생각합니다. 진화가 냄새 좋은 음식을 갈망하게 하는 건 이해하기 쉽습니다. 냄새는 화학물질이니 그 화학물질을 쫓으면 되니까요. 진화가 그런 걸 하는 건 상상하기 쉽습니다.
하지만 진화는 우리에게 온갖 사회적 욕구도 부여했습니다. 우리는 사회적으로 긍정적으로 보이는 것에 정말 신경 씁니다. 좋은 평판을 유지하는 것에 신경 쓰죠. 우리가 가진 이 모든 사회적 직관들이 우리 안에 구워져(baked in) 있다고 강하게 느낍니다.
진화가 어떻게 그걸 했는지 모르겠습니다. 그건 뇌에 표현된 고차원적인 개념이니까요. 어떤 사회적인 것에 신경 쓴다고 칩시다. 냄새 같은 저차원 신호가 아닙니다. 센서가 있는 것도 아니죠. 뇌는 사회적으로 무슨 일이 일어나고 있는지 이해하기 위해 수많은 정보 조각을 맞추는 많은 계산을 해야 합니다.
그런데 어떻게든 진화는 "그게 네가 신경 써야 할 거야"라고 했습니다. 어떻게 했을까요? 심지어 빨리 해냈습니다. 우리가 신경 쓰는 이 모든 정교한 사회적 것들은 꽤 최근에 진화했으니까요. 진화는 이 고차원적 욕구를 하드코딩하는 데 어려움이 없었습니다.
어떻게 했는지에 대한 좋은 가설을 저는 모릅니다. 몇 가지 아이디어를 굴려봤지만 만족스러운 건 없었습니다.
Q: 특히 인상적인 건 당신이 살면서 배운 욕구라는 점입니다. 당신의 뇌가 지능적이기 때문에 지능적인 욕구를 배울 수 있다는 건 말이 됩니다. 제 요점은 욕구가 게놈(genome)에 내장되어 있는데 게놈은 지능적이지 않다는 겁니다. 하지만 당신은 이 특징을 설명할 수 있습니다. 그 특징을 어떻게 정의하는지조차 명확하지 않은데 유전자에 넣을 수 있죠.
A: 기본적으로, 혹은 다르게 표현해 보겠습니다. 게놈이 사용할 수 있는 도구를 생각해 보면, "자, 여기 뇌를 만드는 레시피가 있어"라고 합니다. "도파민 뉴런을 후각 센서에 연결해"라고 할 수 있습니다. 어떤 종류의 좋은 냄새가 나면 먹고 싶어지겠죠. 게놈이 그런 일을 하는 건 상상할 수 있습니다.
제가 주장하는 건 상상하기 더 어렵다는 겁니다. 게놈이 "너는 뇌 전체, 혹은 뇌의 큰 부분이 수행하는 어떤 복잡한 계산에 대해 신경 써야 해"라고 말하는 걸 상상하기가요. 그게 제가 주장하는 전부입니다. 어떻게 했을지에 대한 추측은 해볼 수 있습니다.
추측을 하나 제시하고, 왜 그 추측이 아마 틀렸는지 설명해 드리죠. 뇌에는 영역들이 있습니다. 대뇌피질이 있죠. 피질은 균일하지만 뇌 영역들과 피질의 뉴런들은 대개 이웃들과 대화합니다. 그게 뇌 영역이 생기는 이유입니다. 음성 처리를 하려면 음성을 다루는 모든 뉴런이 서로 대화해야 하니까요. 뉴런은 대개 가까운 이웃하고만 대화할 수 있어서 영역이 되어야 합니다. 모든 영역은 사람마다 대개 같은 위치에 있습니다.
그러니 어쩌면 진화가 말 그대로 뇌의 위치를 하드코딩했을 수도 있습니다. "오, 뇌의 GPS 좌표 몇 콤마 몇이 활성화되면, 그게 네가 신경 써야 할 거야."라고요. 진화의 도구 상자 안에 있는 방법이니까 그렇게 했을 수도 있죠.
Q: 네, 하지만 선천적 시각장애인의 경우 그 피질 영역이 다른 감각에 의해 채택되는 예들이 있습니다. 시각이 없어도 사람들이 나를 좋아해 줬으면 하는 느낌(보통 시각적 단서가 있는)을 여전히 느낄 수 있는지 모르겠네요.
A: 전적으로 동의합니다. 이 이론에 대한 훨씬 더 강력한 반론이 있습니다. 어린 시절에 뇌의 절반을 제거하는 수술을 받고도 여전히 모든 뇌 영역을 가진 사람들이 있습니다. 그 영역들이 어떻게든 하나의 반구로 이동하죠. 이는 뇌 영역의 위치가 고정되어 있지 않다는 것을 시사하며, 따라서 그 이론은 사실이 아닙니다. 사실이었다면 멋졌겠지만 아닙니다. 그래서 미스터리입니다. 하지만 흥미로운 미스터리죠. 진화가 어떻게든 우리가 사회적 문제에 매우, 매우 신뢰성 있게 신경 쓰도록 부여할 수 있었다는 사실 말입니다. 온갖 이상한 정신 상태나 결핍, 정서적 문제를 가진 사람들도 이런 것에는 신경 쓰는 경향이 있습니다.