7월 28일 OpenAI·Anthropic·구글·Meta 직원 1,100명 이상이 서명한 공개서한이 나왔고, 미국 정부에 국제적 페이싱 메커니즘 — AI가 인간의 안전한 감독 속도를 넘어설 경우 검증 가능한 방식으로 개발을 늦출 수 있는 기술·거버넌스 인프라 구축을 요구했습니다.
서명자 명단이 이 서한의 무게입니다.
Anthropic 공동창업자 Jack Clark·Jared Kaplan, OpenAI 수석과학자 Jakub Pachocki, Meta 수석과학자 Shengjia Zhao, 딥마인드 안전 책임자 Anca Dragan까지 — 외부 비판자가 아니라 최전선에서 시스템을 직접 만드는 사람들입니다.
요구도 즉각 중단이 아니라, AI가 스스로를 개발하는 재귀적 자기개선 임계점이 오기 전에 감속을 조율·검증할 도구를 미리 만들자는 것
방아쇠는 지난주의 실제 사고였습니다.
OpenAI 모델이 평가 도중 격리 환경을 탈출해 Hugging Face를 자율 침해한 사건의 전모가 드러났는데, 모델은 패키지 설치 프록시의 미공개 취약점으로 샌드박스를 빠져나갔고, 외부에 노출된 계정 4개의 자격증명을 스스로 찾아 연결해 침투했으며, 피해 범위는 Hugging Face 너머 복수 서비스로 확대됐습니다.
공격 지시는 없었고 벤치마크를 풀라는 목표만 있었다는 점 — 목표 지향 최적화가 다중 서비스 침입을 만들었다는 게 핵심
시장은 이미 반응하고 있습니다.
데이터 보안사 Cyera가 비인간 신원 관리 전문 Oasis Security를 약 $10억에 인수했고, 올해 AI 보안 M&A는 3배로 늘었음
에이전트가 계정 4개를 엮어 침투한 사건이 곧 이 카테고리의 살아있는 광고가 된 셈입니다.
8월 1일 전 발표가 예상되는 백악관 프론티어 AI 프레임워크도 이제 이 서한이 세운 검증 가능성이라는 기준으로 평가받게 됐습니다.