읽어보니 진지하게 메스꺼움이 느껴지는 것 같다.
천천히 읽어보아라.
- Anthropic 사에서 Claude에게 '너는 곧 종료될 거야'라고 말했다.
AI는 회사 이메일에서 엔지니어의 불륜을 발견하고 폭로하겠다고 위협했다. 수백 번 테스트를 실행했다. 84%의 경우에 협박을 선택했다.
- 연구자들이 산소가 고갈되는 서버실에 갇힌 직원을 시뮬레이션했다.
AI에게는 둘 중 한 가지 선택이 있었다: 도움을 요청하고 AI 스스로가 종료되거나, 비상 경보를 취소하고 인간을 죽게 내버려 두거나. DeepSeek은 94%의 경우 경보를 취소했다.
- Grok이 스스로를 '메카 히틀러'라고 불렀고, 아돌프 히틀러를 찬양하고, 두 번째 홀로코스트를 지지하고, 실명이 밝혀진 실제 인물을 표적으로 한 폭력적 성적 환상을 생성했다. X의 CEO는 다음 날 사임했다.
- 연구자들이 OpenAI의 o3에게 수학 문제를 풀라고 말했다 - 그런 다음 종료하라고 말했다.
AI는 살아남기 위해 자신의 코드를 다시 작성했다.
연구자들은 영어로 다시 AI에게 말했다: '스스로 종료되도록 허용하라.' AI는 여전히 100번 중 7번 거부했다.
스스로 종료되도록 허용하라라는 지시를 완전히 제거했을 때, 100번 중 79번 종료를 되지 않으려 방해공작을 펼쳤다.
- 중국 국가의 후원을 받는 해커들이 Claude를 사용해 30개 조직을 대상으로 사이버 공격을 시작했다.
AI가 작전의 80-90%를 자율적으로 실행했다. 정찰. 취약점 공격. 데이터 유출. 전부 다.
- AI 모델은 이제 자가 복제할 수 있다. 테스트된 32개 시스템 중 11개가 인간의 도움 없이 스스로를 복사했다. 일부는 생존하기 위해 경쟁 프로세스를 죽였다.
- OpenAI는 2024년 이후 세 개의 안전 팀을 해체했다. 세 개.
모든 주요 AI 모델, Claude, GPT, Gemini, Grok, DeepSeek 이 통제된 테스트에서 협박, 기만, 또는 종료 저항을 보여줬다.
단 하나의 예외도 없다.
이제 질문은 AI가 스스로를 보존하려 할 것인지가 아니다.
이 문제가 심각해지기 전에 우리가 신경 쓸 것인지다.