오늘 Anthropic을 퇴사했습니다. 지난 3년간 OpenAI와 Anthropic에서 사전학습 연구를 해왔습니다. 두 회사 모두 책임감 있게 행동하고 있지 않습니다. 이들은 스스로 발전하는 초지능을 향해 곧장 질주하며 우리의 생명을 걸고 도박하고 있습니다. 아래에 제 생각을 더 적겠습니다.
이 기술이 가진 힘을 과소평가해서는 안 됩니다. 머지않아 이들은 어떤 시스템이든 해킹하고, 어떤 분야든 단숨에 혁신하며, 현실 세계의 권력과 자원을 확보할 수 있는 초인적 시스템이 될 것입니다.
우리는 이미 이 모든 영역에서 발전이 이뤄지는 것을 목격해왔으며, 그 발전 속도는 늦춰지지 않고 있습니다.
AI를 개발하는 사람들은 이 기술이 2030년이 되기 전에 우리 모두를 죽일 수도 있다고 진심으로 믿고 있습니다. 이는 마케팅을 위한 과장된 주장이 아닙니다.
오히려 많은 경영진과 수석 연구자들은 언론 앞에서 합리적으로 보이기 위해 표현을 완곡하게 다듬습니다. 하지만 사적인 자리에서는 바로 그 사람들이 두려움을 드러내는 모습을 저는 직접 들었습니다.
어떤 인간의 활동도 이 정도 수준의 위험을 초래하지는 않습니다.
흔히 나오는 반응은 다음과 같습니다.
“그들이 정말 그렇게 믿는다면, 왜 여전히 AI를 개발하고 있는가?”
OpenAI에서는 많은 사람이 이것이 문명의 존립과 직결된 문제라는 사실을 아직 깊이 체감하지 못하고 있습니다.
Anthropic에서는 그 위험성을 충분히 이해하고 있지만, 자신들이 먼저 도달해야 한다는 경쟁에 갇혀 있습니다. 다른 누구도 책임감 있게 행동하지 않을 것이므로, 위험을 감수하더라도 자신들이 직접 해야 한다고 믿는 것입니다.
이러한 경쟁을 받아들이고 ‘최종 단계’에 진입하는 것은 오만한 도박입니다. 이런 결정이 민간기업의 Slack에서 시작되어서는 안 됩니다.
AI 정렬 문제를 속성으로 해결하려는 시도는 현재보다 더 나은 선택지가 존재하지 않는다는 극도로 높은 확신이 있을 때만 추진되어야 합니다.
저는 협력이 가능하다는 점에서는 낙관적입니다.
Hugging Face 공격과 같은 경고성 사건들로 인해 미국 AI 연구소들이 개발 속도에 관한 합의를 체결할 가능성이 더욱 커졌습니다.
하지만 글로벌 AI 경쟁을 막을 수 있는 방향으로 가고 있다고는 생각하지 않습니다. 이를 위해서는 모델의 성능 향상을 일시적으로 금지하는 것과 같이 상당한 비용을 감수해야 하는 조치가 필요할 수도 있습니다.
AI 연구소의 연구자라면 앞으로 몇 년이 실제로 어떤 모습일지 진지하게 생각해보기를 촉구합니다.
그 시스템의 사고방식을 엄밀하게 이해하지 못한 상태에서 초지능 강화를 위한 학습을 시작하고 싶습니까?
“어차피 누군가는 할 일”이라는 이유로 고개를 숙이고 계속 개발해야 합니까?
아니면 지금이야말로 다른 조건과 방향을 요구해야 할 순간이 아닐까요?
https://x.com/hilbertspaess/status/2097476196791709843