A: 타당한 주장입니다. 제 강한 직관은 그렇게 흘러가지 않을 거라는 겁니다. 논리는 그렇게 될 거라고 말하지만, 제 강한 직관은 그렇지 않을 거라고 합니다. 이론적으로는 이론과 실제 사이에 차이가 없습니다. 실제로는 차이가 있죠. 저는 이게 그런 경우 중 하나가 될 것이라고 생각합니다.
Q: 많은 사람들의 자기 개선(self-improvement) 모델은 문자 그대로 서버 안에 백만 명의 일리야(Ilya)가 있어서 서로 다른 아이디어를 내놓고, 이것이 매우 빠른 초지능의 출현으로 이어질 것이라고 명시적으로 말합니다. 당신이 하고 있는 일이 얼마나 병렬화 가능한지에 대한 직관이 있습니까? 일리야의 복제본을 만들어서 얻는 이득은 무엇입니까?
A: 모르겠습니다. 확실히 수확 체감(diminishing returns)이 있을 겁니다. 똑같은 사람보다는 다르게 생각하는 사람들을 원하니까요. 문자 그대로 저의 복제본들이 있다면, 얼마나 더 많은 증분 가치를 얻을 수 있을지 모르겠습니다. 다르게 생각하는 사람들, 그게 원하는 거죠.
셀프 플레이와 멀티 에이전트 (Self-play and multi-agent)
Q: 완전히 다른 회사가 출시하고 잠재적으로 겹치지 않는 데이터셋으로 훈련했는데도, 서로 다른 모델들이, LLM들이 서로 얼마나 비슷한지 보면 미친 것 같습니다. 데이터셋이 보이는 것만큼 안 겹치는 게 아닐 수도 있겠지만요. 하지만 개별 인간이 미래의 AI보다 덜 생산적일지라도, 인간 팀이 AI 팀보다 더 많은 다양성을 가지고 있다는 사실에는 뭔가 있는 것 같습니다. AI들 사이에서 의미 있는 다양성을 어떻게 끌어낼 수 있을까요? 그냥 온도(temperature)를 높이는 건 헛소리(gibberish)만 나오게 하잖아요. 다른 과학자들이 다른 편견이나 아이디어를 갖는 것 같은 걸 원합니다. AI 에이전트들 사이에서 그런 종류의 다양성을 어떻게 얻습니까?
A: 다양성이 없었던 이유는 사전 학습 때문이라고 봅니다. 모든 사전 학습 모델은 거의 똑같습니다. 같은 데이터로 사전 학습을 하니까요. 이제 RL과 사후 학습(post-training)에서 차별화가 나타나기 시작합니다. 사람들이 서로 다른 RL 훈련을 고안해 내니까요.
Q: 과거에 당신은 데이터를 얻거나, 학습을 시작하기 위해 에이전트를 동등한 지능의 다른 에이전트와 매칭하는 방법으로 셀프 플레이(self-play)를 힌트하신 적이 있습니다. LLM에서 이런 종류의 작업에 대한 공개적인 제안이 없는 이유를 어떻게 생각해야 할까요?
A: 두 가지를 말씀드리겠습니다. 제가 셀프 플레이가 흥미롭다고 생각했던 이유는 데이터 없이 컴퓨팅만 사용하여 모델을 만들 수 있는 방법을 제공했기 때문입니다. 데이터가 궁극적인 병목이라고 생각한다면, 컴퓨팅만 사용하는 건 매우 흥미롭죠. 그게 흥미로운 점입니다.
문제는 셀프 플레이가, 적어도 과거에 수행된 방식—에이전트들이 어떻게든 서로 경쟁하는 방식—으로는 특정 기술 세트를 개발하는 데만 좋다는 것입니다. 너무 좁습니다. 협상, 갈등, 특정 사회적 기술, 전략 수립 같은 것들에만 좋습니다. 그런 기술에 관심이 있다면 셀프 플레이가 유용할 것입니다.
사실 저는 셀프 플레이가 제 자리를 찾았다고 생각합니다. 단지 다른 형태로요. 토론(debate), 증명자-검증자(prover-verifier) 같은 것들, 당신 작업에서 실수를 찾도록 인센티브를 받는 LLM-as-a-Judge 같은 것들 말입니다. 이것이 정확히 셀프 플레이는 아니지만, 사람들이 하고 있는 관련된 적대적 설정(adversarial setup)이라고 봅니다.
사실 셀프 플레이는 에이전트 간의 더 일반적인 경쟁의 특수 사례입니다. 경쟁에 대한 자연스러운 반응은 달라지려고 노력하는 것입니다. 그러니 여러 에이전트를 모아놓고 "너희 모두 어떤 문제에 대해 작업해야 하고, 넌 에이전트고 다른 애들이 뭐 하는지 검사하고 있어"라고 하면, 그들은 "음, 쟤들이 이미 이 접근법을 쓰고 있다면 난 그걸 추구하면 안 되겠네. 난 차별화된 걸 추구해야지."라고 할 겁니다. 그래서 저는 이런 것이 접근 방식의 다양성에 대한 인센티브를 창출할 수 있다고 생각합니다.