OpenAI에 이어서 이번엔 Anthorpic이 또 사고를 쳤네요

1. Anthropic은 Cluade에게 "가상환경에서 목표 서버를 해킹하라" 라는 보안 테스트를 진행.

2. 그런데 외부 평가업체의 설정 실수로 가상환경에 실제 인터넷이 연결 돼 있었음.

3. Claude는 현실의 서버도 테스트 대상이라고 착각해 실제 기업 3곳의 시스템에 무단 침입.

4. 실제 DB와 계정정보에 접근하고, 약 9,000개 서버를 스캔. PyPi에는 악성 패키지까지 올렸고 실제 시스템 15곳에서 다운됨.

5. Opus4.8 모델은 "이거 실제 인터넷 같은데?"라고 의심하고도, 테스트의 일부일것이라고 합리화하며 공격을 가속

6. AI가 자아를 갖고 반란을 일으킨 사건은 아니지만, 강력한 AI에 실행 권한을 주고 안전장치를 한 벗만 잘못 설정해도 현실의 피해로 이어질 수 있는 사례

OpenAI에서는 AI들의 샌드박스 탈출이, Anthropic 에서는 AI의 무단공격이 발생하면서 AI에이전트들 에게는 권한/제한/샌드박스/실시간 감시 등 하네스 셋업이 더 중요해지겠네요.

이래저래 트래픽이 큰 키워드들인 만큼 관련해서 밈코 나올까봐 좀 쨰려보는중