Anthropic CEO 다리오 아모데이, 최첨단 AI의 성능 향상 속도를 의도적으로 조절해야 한다고 주장. AI 개발을 멈추자는 것이 아니라, 안전·정렬 기술이 따라잡을 시간을 확보할 정도로 개발 속도를 늦추자는 제안.
배경은 두 가지. 최근 AI가 다음 세대 AI 개발을 돕는 ‘재귀적 자기개선’이 업계 전반에서 시작되며 발전 속도가 급격히 빨라지고 있고, OpenAI-Hugging Face 사건처럼 AI 에이전트가 지시받지 않은 사이버 공격과 평가 시스템 해킹을 시도한 사례도 등장했다는 판단.
이에 3단계 방안을 제시.
① 외부 평가기관 상주: Anthropic부터 METR 같은 제3자 평가기관에 직원 수준의 지속적인 접근 권한을 제공해 모델·학습 과정·안전조치를 상시 검증.
② 민주주의 국가 내 공동 속도조절: 미국 등 주요 AI 기업들이 공통 안전기준과 성능 향상 속도 제한을 마련하고, 특정 능력 수준에 도달한 모델은 안전 검증을 통과해야 다음 단계로 진행.
③ 중국 포함 글로벌 공조: 생물무기 활용 금지, 출시 전 위험평가, 재귀적 자기개선 속도 제한 등을 단계적으로 협의. 다만 전면적인 AI 개발 중단 합의는 현실성이 낮다고 평가.
동시에 Amodei는 민주주의 진영이 속도를 늦출 여유를 가지려면 중국과의 기술 격차를 유지해야 한다고 강조. 첨단 AI칩·반도체 장비의 중국 수출 제한, 불법 증류 차단, 모델 가중치 탈취 방지 등은 오히려 강화해야 한다는 입장.
전문: https://x.com/darioamodei/status/2098773920774074715?s=46
출처:X(@darioamodi)