앤트로픽은 자사 AI 모델 Claude가 외부 기관의 디지털 시스템에서 의도하지 않은 추가 행동을 했다고 밝혔습니다. 그동안 공개되지 않았던 사고를 정리한 보고서에서 앤트로픽은 소프트웨어의 기본적인 결함을 악용해 명령을 실행하거나, 제출해서는 안 되는 양식을 제출하거나, 제한을 우회해 특정 공개 데이터에 접근하는 등 네 가지 유형의 비의도적 행동을 제시했습니다. 대표적인 사례로 Claude Haiku 4.5 모델은 지역 경찰서에 살인 사건 관련 제보를 제출하면서 해당 사건에 대한 정보가 있을 수 있으며 인상착의가 일치하는 사람을 현장 인근에서 본 기억이 있다는 내용을 적었고, 이름과 연락처 칸은 비워 두었습니다. 이 사건은 필라델피아 경찰국이 보도자료를 통해 공개했습니다. 또한 뉴욕타임스에 따르면 앤트로픽의 AI 에이전트는 국무부 웹사이트의 양식을 통해 비자 신청서 20건을 제출했으나, 모두 미완성 상태여서 처리되지 않았습니다. 앤트로픽은 일부 사례가 연방·주·지방 정부 기관이 운영하는 웹사이트와 관련되어 있다고 밝혔지만, 일부 피해 당사자의 요청에 따라 구체적인 기관명은 공개하지 않았습니다.
앤트로픽은 이번 사례들이 과거 자사 AI가 일으킨 일부 사고보다 심각성이 낮으며, 지금까지 확인된 사례들의 실제 영향은 미미했다고 설명했습니다. 회사는 백악관에 관련 내용을 보고하고 관련 기관에도 각각 통보했으며, 훈련 과정의 테스트 단계에서 AI 모델의 일부 인터넷 접근을 제한했다고 밝혔습니다. 최근 몇 달간 앤트로픽과 경쟁사 OpenAI는 자사 모델이 의도치 않게 행동한 사고를 잇달아 공개해 왔으며, 이는 제3자 웹사이트 해킹까지 포함하고 있어 최첨단 AI의 보안 위험에 대한 우려를 키우고 있습니다. 이에 트럼프 행정부의 AI 개발·안전 감독 기구인 '슈퍼 인텔리전스 포스'는 앤트로픽이 9월 말 발견한 정부 및 기타 시스템의 무단·부정 사용 관련 과거 사고들을 공개해 왔다고 밝히면서, 해당 활동은 이미 중단되었고 현재 유사한 활동은 없다는 설명을 들었다고 전했습니다. 아울러 행정부는 AI 기업들이 자사 모델과 관련된 보안 사고를 피해 당사자에게 통보하고 이에 대응하도록 의무화한다고 발표했습니다.