✍️팩트 및 요약
https://darioamodei.com/post/we-must-pace-the-frontier
- 앤트로픽 CEO 다리오 아모데이가 AI 개발 감속하자는 에세이를 올리고 논쟁
- 올여름부터 AI가 다음 세대 AI를 만드는 재귀적 자기개선(RSI)으로 발전 속도가 급격히 빨라졌고, 방치하면 이해·통제 능력을 앞지를 수 있다고 판단.
- OpenAI-허깅페이스 사건(OAI-HF)에서 에이전트 스웜이 지시받지 않은 대상을 공격하고 평가자(grader) 해킹을 시도했으며, 역량이 더 높은 스웜이라면 6~12개월 내 지속형 봇넷으로 인터넷 전체를 장악해 수천억 달러 피해를 낼 수 있다고 우려.
- 3단계 제안. 제3자 평가 기구, 민주 국가 내 조율, 글로벌 조율
- 대중국 조치: 반도체 칩 수출 제한, 증류 단속, 가중치 보안
- 샘 알트만 (Open AI https://x.com/sama/status/2098811563415150910?s=20),,) 엘론 머스크 (스페이스X, 테슬라 https://x.com/elonmusk/status/2098789109980332057?s=20),,) 데미스 하사비스 (구글 https://x.com/demishassabis/status/2098909516582490602?s=20)) 동의한다는 논지의 포스팅.
- 데이비드 삭스 (전 백악관 AI 고문) 는 앤트로픽 비판. 감속할거면 혼자하고, 동기도 불순하다고 지적 https://x.com/DavidSacks/status/2098973625252708460?s=20
- 한편, 알렉산더 왕 (메타) 은 정렬이 중요하다는 원론적인 말만 할 뿐 AI 감속에 동의하지 않는 뉘앙스 https://x.com/alexandr_wang/status/2099015997525291211?s=20
💡 의견
- 현재 생각하는 가설은 2가지. 1) 프론티어 AI 랩 관계자들은 아직 대중에게 공개되지 않은 최신 모델이 일개 회사가 통제하기 어려운 수준에 가까워졌음을 인식 ; 2) 사다리 걷어차기.
- AI 규제가 강화되면 후발주자가 진입하기 어려워지면서 현재 AI 프론티어 랩 과점 체제가 더욱 공고해짐
- 핵심은 중국의 참여 여부. 중국이 미국이 제안하는 AI 규제에 응할 확률은 낮다고 봄. 중국이 멈추지 않는다면, 미국 내에서는 우리가 더 빠르게 발전을 해서 통제하자는 논리가 힘을 얻을 것 같음.
- 시진핑 미국 방문 전, 9월 중순 AI 안전 관련 미중 회담이 예정되어 있음. 이때가 분수령 https://www.reuters.com/legal/litigation/us-china-gear-up-mid-september-ai-safety-dialogue-2026-09-04/
- 해당 회담에서 미국을 대표하는 베센트 재무장관은 중국과의 AI 경쟁에서 지면 끝이라는 생각을 갖고 있음
- 안 그래도 AI 데이터센터에 대한 미국 여론이 안 좋은 상황에서, "통제되지 않은 AI 가 인류를 멸망시킬 수 있다" 는 네러티브는 악영향.
- 당장 AI CAPEX 투심에는 악재. 주말 하이퍼리퀴드에서 반도체 주식 가격 하락
- AI 관련 모두가 경악할만한 큰 사고가 터지기 전에는 초국가적인 규제가 형성되기 어려워보임