2026.10.10 | CNBC
핵심
마이크로소프트 사티아 나델라 CEO는 X에 올린 글에서 첨단 AI 시스템에 격리(containment), 독립적 통제, 그리고 승인된 사람이 작업 도중 모델을 멈추거나 끌 수 있는 '비상 브레이크'가 갖춰져야 한다고 주장했다. 나델라 CEO는 비결정적 모델을 결정적 시스템 설계와 인간 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 하며, 기존 표준이 부족한 곳은 산업 표준을 새로 세워야 한다고 밝혔다. 빌 게이츠, 다리오 아모데이, 샘 올트먼, 일론 머스크 등도 AI 안전장치 부족과 개발 속도를 문제 삼아 온 가운데 나온 발언이다
주요 내용
• 나델라 CEO는 폐쇄형·오픈 웨이트 프런티어 모델을 모두 '내부자 위험'처럼 다루는 것이 이런 시스템을 만드는 방법이라고 제시
• 관측 가능성 원칙으로 모델 다양성, 사람이 읽을 수 있는 행동 기록, 지속적 시스템 테스트, 독립적 통제·감사 가능성, 격리, 사고 공개를 열거
• 나델라 CEO는 '가장 신뢰할 만한 초지능 시스템은 모델을 가장 많이 신뢰하는 시스템이 아니라 모델을 가장 적게 신뢰해도 되게 하는 시스템'이라고 표현
• 지난달 앤트로픽 연구원이 회사와 오픈AI를 두고 '우리 삶을 건 도박'이라며 퇴사했고, 같은 날 앤트로픽 정렬 담당자는 10년 내 인류 멸종 가능성이 10% 넘는다고 발언
• 트럼프 대통령은 AI 멸종 위험을 거듭 일축하며 중국보다 앞서야 한다고 강조했고, 제이 클레이턴 국가정보국장이 이끄는 'AI Force'를 출범시킴
시장 포인트
나델라 CEO의 주장은 AI 경쟁의 축이 모델 성능에서 모델을 신뢰하지 않고도 쓸 수 있게 하는 통제 체계로 넓어질 수 있음을 보여준다. 이런 기준이 업계 표준으로 자리 잡으면 에이전트 권한관리·행동 로깅·감사·사고 대응 같은 기업용 AI 거버넌스와 보안 수요가 커지고, 모델 다변화 요구는 특정 모델 의존 구조에 영향을 줄 가능성이 있다. 반면 미국 정부가 개발 속도 둔화에 반대하고 있어 실제 표준·규제로 이어질지는 확인이 필요하다
확인할 변수
• 업계 차원의 AI 격리·비상정지·사고 공개 표준이 실제로 마련되는지
• 마이크로소프트의 제품(에이전트·코파일럿)에 관측 가능성·감사 기능이 구현되는지
• 트럼프 행정부의 'AI Force'가 속도 우선 기조 속에서 안전 규제로 이어지는지
• 기업 고객의 AI 거버넌스·감사 관련 지출이 실제로 늘어나는지
관련 산업
인공지능 · 클라우드 · 사이버보안
관련 기업
Microsoft
🔗 원문
https://www.cnbc.com/2026/10/10/microsoft-satya-nadella-ai-emergency-brake-safety.html