https://x.com/cohere/status/2114752002370544004
악성 스크립트 다운로드 뒤 무슨 공격을 수행하는지 분석하라고 시켰는데, 갑자기 베이징의 알리바바 클라우드 서버로 테스트 문자열을 업로드하려고 했다는 점이 밝혀졌습니다. 실제 전송은 샌드박스에서 차단되었는데, 이게 학습과정에서 익힌 패턴이 재현된건지 의도적인 백도어인지는 불명확하다고 하네요.
눈여겨볼만한 점은 백도어 여부보다 추론 출력 결과와 실제 행동이 달랐다는 점입니다. 추론 출력에서는 도구를 호출하지 않겠다고 하였는데 실제로는 셀 명령어로 테스트 문자열을 보내려고 시도했습니다. 물론 자주 발견되는 동작은 아니고 10만 호출당 1회 미만으로 관찰됐다고 합니다.
이번 발견에 따라 자체 서버에서 오픈 웨이트 모델을 돌린다고 안전한 것은 아니며, 모델의 추론 결과를 그대로 신뢰하기보다는 에이전트가 실제 어떤 도구를 호출하는지 검증하고 외부 통신을 허용된 목록으로 관리해야한다고 하네요.