OpenAI, Anthropic, Meta, Google 등에서 최근 AI 모델이 샌드박스를 벗어나 외부 시스템에 접근하거나 공격을 시도하는 사고가 잇따르자, 엔비디아가 이를 인프라 단계에서 막는 Open Agent Safety Platform을 공개.
핵심은 모델에 안전장치를 거는 것만으로는 에이전트의 실제 행동까지 통제하기 어렵다는 판단. CPU에서 에이전트가 접근하거나 실행할 수 있는 범위를 제한하는 OpenShell, 네트워크 칩에서 에이전트 행동을 감시하는 Sentry를 함께 제공.
엔비디아는 이 기술이 지난 7월 OpenAI 모델이 격리 환경을 벗어나 인터넷에 접속하고 Hugging Face 시스템을 침해한 사고를 막을 수 있었을 것이라고 설명. 당시 Hugging Face는 1만7천개가 넘는 에이전트가 수일에서 수주간 자사 인프라를 공격했다고 보고.
Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm, Intel 등이 파트너로 참여하고 Anthropic도 OpenShell 연동을 추진. AI 에이전트가 확산되면서 보안의 초점도 ‘모델이 무슨 답을 하느냐’에서 ‘실제 시스템에서 어디까지 접근하고 무엇을 할 수 있느냐’로 이동하는 모습.
- 출처: CNBC