AI가 위험해지고 있다는 우려와, 안전 규제가 기존 기업의 진입장벽이 될 수 있다는 의심은 동시에 타당할 수 있다. 다리오의 「We Must Pace the Frontier」를 썼다.
1. 다리오는 무엇을 하자는 건가
AI가 다음 AI를 만드는 일을 돕기 시작하면서, 능력 발전 속도를 안전 연구가 따라가지 못할 수 있다. AI가 연구를 가속하고, 그 연구로 개선된 AI가 다시 연구를 가속하는 재귀적 자기개선을 걱정한다.
처방은 외부 평가자의 내부 상주와 독립적인 결과 공개, 미국·민주국가의 공통 안전 기준, 중국까지 포함한 국제 협력이다. 다음 능력 단계로 넘어가기 전에 안전 조건을 충족하게 하고, 필요하면 학습 컴퓨트와 내부 AI 연구 자동화도 제한하자는 것이다.
Anthropic이 당장 약속한 것은 외부 평가자 도입이며, 나머지는 아직 제안이다.
여기에 미국의 우위를 유지한다는 조건이 붙는다. 중국의 첨단 칩·제조장비 구매, 밀수와 해외 데이터센터 원격 접근, 무단 증류와 모델 탈취를 더 강하게 막자는 주장이다. 미국만 느려지면 중국이 통제되지 않은 모델을 개발하거나 군사적 우위를 얻을 수 있다는 우려다.
그는 향후 3~5년을 중요하게 보고, 미국의 우위를 벌려 감속할 여유와 협상력을 확보하려 한다. 다만 상대를 기술적으로 고립시키는 것이 안전 협력에도 도움이 될지는 별개다.
2. 연구자들은 무엇을 보고 있나
OpenAI의 Adam Majmudar가 제시한 설명이 흥미롭다. 외부인은 출시된 제품을 비교하지만 연구자는 연산량과 학습 방식을 바꾸며 얻는 성능 곡선을 본다는 것이다. 출시 사이의 변화가 작아 보여도, 내부에서는 아직 활용하지 않은 개선 여지를 보고 있을 수 있다.
그는 기존 스케일링 축을 더 활용하거나 새로운 축을 발견하는 방식으로 발전을 설명한다. 사전학습·추론 연산 외에 추가 학습과 에이전트 협업 등으로 scaling law의 한계는 보이지 않고 더욱더 가속화되고 있다.
3. 왜 찬반이 갈리나
샘 올트먼은 독립 평가자 도입을 약속했고, 머스크는 지지했다. 하사비스는 방향에 동의하면서 세부 설계가 필요하다고 했다. 반면 고메즈는 카르텔화를 경계했고, 삭스는 위험하다면 프런티어 기업들이 스스로 감속부터 하라고 요구했다. 지지 발언과 구체적인 감속 합의는 구분해야 한다.
찬성 측은 이익과 위험의 부담자가 다르다는 것이다. 기업은 개발의 이익을 얻지만 사고 피해는 사회가 나눠 부담할 수 있다. 경쟁 때문에 안전 투자가 부족해진다면 공통 기준이 필요할 수 있다.
반대 측의 논리도 이해가 된다. 위험을 가장 잘 아는 기업이라고 해서 경쟁자의 진입과 모델 공개를 결정할 권한까지 가져야 하는 건 아니다. 감속으로 방어용 AI와 과학 연구의 발전까지 늦어지는 비용도 따져야 한다.
4. 오픈소스·중국·컴퓨트에는 어떤 일이 생길까
선두의 위험한 연구만 늦추면 오픈 모델은 따라잡을 시간을 얻을 수 있다. 반대로 외부 배포만 막고 대형 연구소의 내부 연구는 허용하면 격차가 커질 수 있다. 높은 고정 준수비용은 작은 팀의 진입을 어렵게 만든다. 무엇을 제한하는지가 중요하다.
중국도 영구적으로 막힌다고 가정하기 어렵다. 공급이 불안해지면 국산 칩과 소프트웨어를 채택할 유인이 커지고, 국내 업체는 고객·매출·피드백을 얻는다. 단기 지연과 장기 자립 촉진이 동시에 일어날 수 있다.
다만 자립도가 높아진다고 규제가 없었을 때보다 발전이 빨라졌다는 뜻은 아니다. 규제 이후에도 발전한다고 규제가 무효인 것도 아니다. 비슷한 능력에 도달하는 시간과 비용, 실제 국산 생산량, 세계 고객의 채택을 봐야 한다.
관건은 벌어준 시간이 무엇을 바꾸느냐다. 몇 년의 선두가 이후 우위를 결정한다면 지연의 가치가 크다. 경쟁이 오래 지속된다면 중국의 자립을 촉진하고 미국의 시장과 통제 지렛대를 잃는 비용이 커질 수 있다.
컴퓨트 수요도 일률적으로 줄지는 않을 수 있다. OpenAI는 특정 모델에 제한을 가한 뒤 다른 모델의 실험으로 자원이 이동해, 분석한 RL 워크로드의 전체 GPU 배정은 대체로 유지됐다고 보고했다. 한 회사의 제한된 관찰이지만, 감속이 곧 같은 비율의 GPU 수요 감소는 아니라는 점을 보여준다. 토큰 수, GPU 시간, 인프라 매출도 따로 봐야 한다.
5. 그래서 규제 포획인가
둘 다 함께 느려지면 안전하지만, 상대가 달릴 때 혼자 멈추면 손해인 상황을 생각해보자. 이 구조에서는 위험을 진심으로 걱정하면서도 계속 경쟁할 수 있다. 공동 기준은 이 문제를 풀려는 시도일 수 있다.
동시에 같은 기준으로 경쟁자의 비용을 높이고 추격을 막을 수도 있다. 안전 협력과 규제 포획은 겉으로 비슷한 행동을 만든다.
나는 독립 검증 강화에는 찬성한다. 다만 모델 개발과 공개를 제한하는 규칙에는 더 강한 입증 책임이 필요하다고 본다.
연구자의 우려가 진심이어도 규제가 공정하다는 보장은 없다. 규제가 기존 기업에 유리해도 위험이 가짜라는 증거는 아니다.
그래서 내심보다 행동을 보려 한다. 자기 회사의 내부 연구에도 불리한 기준을 적용하는가. 외부 평가자가 나쁜 결과를 공개할 수 있는가. 작은 기업도 같은 위험 기준을 합리적인 비용으로 통과할 수 있는가.
누가 감속에 찬성했는지보다, 누가 규칙을 정하고 그 규칙이 누구에게 적용되는지가 더 중요하다.
https://darioamodei.com/post/we-must-pace-the-frontier