과거 공산주의자들은 "우리가 역사의 미래를 제일 잘 아니까 인류를 위해 독재해야 한다"고 주장했습니다. 지금 '효과적 이타주의(EA)' 기반의 AI 위험론자들도 똑같습니다. "우리가 수학과 확률로 계산해 보니 AI가 인류를 멸망시킬 확률이 높다"면서, "그러니 똑똑한 우리가 인류를 위해 AI 개발을 통제하겠다"고 나섭니다. 결국 '너희를 위한 통제'라는 명목으로 독재를 하려는 건 과거와 다를 바 없습니다.
과거 원자폭탄을 만든 맨해튼 프로젝트 과학자들도 "핵폭발로 대기가 불타 인류가 망하면 어쩌지?"라는 공포를 느꼈습니다. 하지만 그들은 계산을 통해 가능성이 없음을 확인하고 실행에 옮겼습니다. 진짜 싸워야 할 현실의 적(나치)이 있었기 때문입니다. 반면, 지금의 AI 위험론자들은 머릿속으로 만든 '가상의 종말 시나리오'에 과도하게 몰입해 종교적 신념처럼 믿고 있습니다.
AI의 위험성을 경계하고 기술적으로 안전장치를 만드는 노력(엔지니어링)은 반드시 필요합니다. 하지만 "지구 종말 시나리오를 상상할 수 있는 능력이 있다고 해서, 현재 인류를 통제하고 지배할 권리까지 생기는 것은 아니다"라는 경고입니다.