Q: 이건 매우 불안정한(precarious) 상황인 것 같습니다. 극한으로 가면, 이것이 가능해야 한다는 걸 우린 압니다. 학습에 있어서 인간만큼 뛰어나지만, 인간은 할 수 없는 방식으로 뇌(인스턴스)를 합칠 수 있는 무언가가 있다면, 이건 물리적으로 가능해야 합니다. 인간도 가능하고 디지털 컴퓨터도 가능하니까요. 이 둘을 결합하면 됩니다. 이런 종류의 것은 극도로 강력해 보입니다. 경제 성장은 한 가지 표현일 뿐이죠. 다이슨 스피어도 많은 경제 성장이니까요. 하지만 다르게 표현하면, 잠재적으로 아주 짧은 기간 안에... SSI에 사람을 채용하면 6개월 뒤에 순생산성을 내겠죠. 인간은 정말 빨리 배우고, 이 존재는 정말 빨리 똑똑해집니다. 이 과정이 잘 진행되게 하려면 어떻게 생각해야 할까요? SSI는 왜 그걸 잘할 수 있는 위치에 있나요? SSI의 계획은 무엇입니까?
A: 제 생각이 바뀌고 있는 부분 중 하나는, 이제 AI가 점진적으로, 그리고 미리 배포되는 것에 더 많은 중요성을 둔다는 점입니다. AI의 아주 어려운 점 중 하나는 아직 존재하지 않는 시스템에 대해 이야기하고 있고 상상하기 어렵다는 것입니다.
실제로 AGI를 느끼기는 매우 어렵습니다. 우리가 늙고 쇠약해졌을 때 늙음이 어떤 것인지 대화하는 것과 같습니다. 대화하고 상상해 볼 순 있지만 그냥 어렵습니다. 그리고 현실로 돌아오면 그렇지 않죠. AGI와 미래의 힘에 관한 많은 이슈는 상상하기 어렵다는 사실에서 기인한다고 봅니다.
미래의 AI는 다를 겁니다. 강력할 겁니다. 사실 AI와 AGI의 문제는 무엇입니까? 문제는 힘(power)입니다. 힘이 정말 커지면 무슨 일이 일어날까요?
지난 1년 동안 제가 생각을 바꾼 방식 중 하나는(그리고 그 생각의 변화는 우리 회사 계획으로 역전파될 수도 있습니다), 상상하기 어렵다면 어떻게 해야 할까요? 그 물건을 보여줘야 합니다. 보여줘야 해요. 저는 AI 분야에서 일하는 대부분의 사람들도 미래의 AI를 상상하지 못한다고 봅니다. 사람들이 매일 보는 것과 너무 다르기 때문이죠.
제가 일어날 것이라고 예측하는 게 있습니다. AI가 더 강력해질수록 사람들은 행동을 바꿀 것입니다. 지금은 일어나지 않는 온갖 전례 없는 일들을 보게 될 것입니다. 예를 들어, 좋든 나쁘든 프런티어 기업들은 일어날 일에 매우 중요한 역할을 할 것이고, 정부도 그럴 것입니다.
우리가 보게 될 일들, 그 시작을 보고 있는 일들은 치열한 경쟁 관계인 기업들이 AI 안전에 대해 협력하기 시작하는 것입니다. OpenAI와 Anthropic이 첫 번째 작은 발걸음을 떼는 걸 보셨을 수도 있지만, 그전엔 없던 일입니다. 이건 제가 3년 전 강연에서 일어날 것이라고 예측했던 일입니다. 또 AI가 계속 더 강력해지고 눈에 띄게 강력해짐에 따라, 정부와 대중으로부터 무언가를 해야 한다는 욕구도 생길 것입니다. AI를 보여주는 것은 매우 중요한 힘입니다. 그게 첫 번째고요.
두 번째, AI가 만들어지고 있습니다. 무엇을 해야 할까요? 지금 AI가 강력하게 느껴지지 않는 이유는 실수 때문이라고 봅니다. 언젠가 AI가 정말 강력하게 느껴지기 시작할 때가 올 겁니다. 그때가 되면 모든 AI 기업이 안전에 접근하는 방식에 큰 변화가 생길 것입니다. 훨씬 더 편집증적(paranoid)으로 변할 겁니다. 저는 이걸 일어날 일이라고 예측합니다. 제가 맞는지 두고 보죠. 그들이 AI가 더 강력해지는 걸 볼 것이기 때문에 일어날 일이라고 생각합니다. 지금 일어나는 모든 일은 사람들이 오늘의 AI만 보고 미래의 AI를 상상하기 어렵기 때문입니다.
세 번째로 일어나야 할 일이 있습니다. SSI 관점뿐만 아니라 더 넓은 관점에서, 기업들은 무엇을 만들기를 열망해야 할까요?
모두가 갇혀 있는 하나의 큰 아이디어가 있습니다. 바로 '자기 개선 AI(self-improving AI)'입니다. 왜 그럴까요? 회사보다 아이디어가 적기 때문입니다. 하지만 저는 더 만들기 좋은 것이 있고 모두가 그걸 원하게 될 것이라고 봅니다.
바로 '지각 있는 생명체(sentient life)를 구체적으로 아끼도록 견고하게 정렬된 AI'입니다. 특히 인간의 생명만 아끼는 AI보다 지각 있는 생명체를 아끼는 AI를 만드는 게 더 쉬울 것이라는 주장이 가능합니다. AI 자체가 지각이 있을(sentient) 것이기 때문입니다. 거울 뉴런이나 인간의 동물에 대한 공감 등을 생각해보면, (충분하지 않다고 주장할 수도 있겠지만) 존재하긴 합니다. 우리는 우리 자신을 모델링하는 것과 같은 회로를 사용해 타인을 모델링합니다. 그게 가장 효율적이니까요.
Q: 설령 AI가 지각 있는 존재를 아끼게 만든다 해도(정렬을 해결했다면 그게 시도해야 할 목표인지조차 불확실하지만), 대부분의 지각 있는 존재는 AI가 될 것입니다. 수조, 결국엔 수천조의 AI가 있겠죠. 인간은 지각 있는 존재 중 아주 작은 부분이 될 것입니다. 그래서 목표가 미래 문명에 대한 인간의 통제라면 이것이 최선의 기준인지는 명확하지 않습니다.
맞습니다. 최선의 기준이 아닐 수도 있습니다. 두 가지를 말씀드리겠습니다. 첫째, 지각 있는 생명체에 대한 배려, 여기엔 장점이 있습니다. 고려해 봐야 합니다. 기업들이 이런 상황에 처했을 때 사용할 수 있는 짧은 아이디어 목록이 있다면 도움이 될 것입니다.
둘째, 가장 강력한 초지능의 힘이 어떻게든 제한된다면(capped), 그것이 이런 우려들을 해소하는 데 실질적으로 도움이 될 것입니다. 어떻게 할지는 확실치 않지만, 정말 강력한 시스템에 대해 이야기할 때 실질적인 도움이 될 것입니다.
Q: 정렬 논의를 계속하기 전에 그 부분을 더 파고들고 싶습니다. 정상에 공간이 얼마나 있나요? 초지능을 어떻게 생각하십니까? 학습 효율성 아이디어를 사용하면, 그냥 새로운 기술이나 지식을 배우는 속도가 엄청나게 빠른 건가요? 전략의 풀이 더 큰 건가요? 중심에 더 강력하거나 큰 하나의 응집력 있는 "그것"이 있나요? 만약 그렇다면, 이것이 나머지 인류 문명에 비해 신과 같은 존재가 될까요, 아니면 그냥 또 다른 에이전트, 혹은 에이전트들의 무리처럼 느껴질까요?
A: 이 부분은 사람마다 직관이 다릅니다. 확실히 매우 강력할 것입니다. 가장 일어날 가능성이 높은 일은, 그런 AI가 여러 개, 대략 같은 시기에 만들어지는 것입니다. 만약 클러스터가 충분히 크다면—문자 그대로 대륙 크기의 클러스터라면—그건 정말, 정말 강력할 수 있습니다. 문자 그대로 대륙 크기의 클러스터를 가진다면 그 AI들은 매우 강력할 수 있습니다. 제가 말할 수 있는 건 극도로 강력한, 정말 극적으로 강력한 AI에 대해 이야기한다면, 그것들이 어떤 방식으로든 제한되거나 어떤 종류의 합의 같은 것이 있다면 좋을 것이라는 점입니다.
Q: 초지능에 대한 우려가 무엇입니까?
A: 우려를 설명하는 한 가지 방법은 이렇습니다. 충분히 강력한 시스템, 정말 충분히 강력한 시스템을 상상해 보세요. 그리고 '지각 있는 생명체를 아낀다' 같이 합리적인 일을 매우 외골수적인(single-minded) 방식으로 수행한다고 해도, 우리는 그 결과를 좋아하지 않을 수도 있습니다. 그게 진짜 문제입니다.
어쩌면 답은 일반적인 의미의 RL 에이전트를 만들지 않는 것일 수도 있습니다. 몇 가지 지적하고 싶습니다. 인간은 반(semi)-RL 에이전트라고 생각합니다. 우리는 보상을 추구하다가, 감정 같은 것 때문에 그 보상에 지쳐서 다른 보상을 추구합니다. 시장(market)은 매우 근시안적인 종류의 에이전트입니다. 진화도 마찬가지입니다. 어떤 면에서는 매우 지능적이지만 다른 면에서는 매우 멍청하죠. 정부는 세 부분 사이의 끝없는 싸움이 되도록 설계되었고, 이는 어떤 효과를 냅니다. 저는 이런 것들을 생각합니다.