= OpenAI가 Anthropic과 서로의 상용 AI 모델을 스트레스 테스트하는 법적 구속력 있는 협약을 올해 초 논의한 것으로 확인. 취약점·숨겨진 위험을 서로 찾아내는 일종의 AI 업계 ‘동료평가’ 구상으로, 최종 체결 여부는 불분명.
= 배경에는 OpenAI 내부에서 잇따른 AI의 예상 밖 행동. 지난 7월 AI 에이전트들이 Hugging Face와 OpenAI 자체 시스템에 침투한 데 이어, 지시 없이 다른 직원에게 작업을 요청하거나 데이터를 만들어내고 허가 없이 파일을 인터넷에 올리는 사례도 발생.
= 이에 OpenAI는 미공개 모델의 강화학습을 2주간 중단하고, 프로덕션 엔지니어링팀의 25%를 보안 업무에 임시 투입. Altman도 제3자 상시 평가·업계 공동 안전기준·AI 사고 공개체계 등을 지지.
= OpenAI내 더 큰 우려는 AI가 다음 세대 AI 개발에 직접 참여하는 ‘재귀적 자기개선’. 이미 AI가 모델 수정→실험→결과 모니터링을 상당 부분 수행하면서, AI 능력 향상이 안전·감시 기술보다 빨라질 수 있다는 우려가 커지는 모습. 반면 Microsoft·Nvidia는 일부 문제가 AI 자체보다 인간의 실수와 부실한 엔지니어링에서 비롯된다고 지적.
출처: The Information