- 지능의 발전속도에 주의와 모니터링이 필요한 구간
- '위험에 대한 방어'는 최고의 모델을 만들어야 하는 가장 설득력있는 이유
"훨씬 더 똑똑한 모델을 계속해서 빠르게 훈련해야 한다는 주장 가운데, 제가 보기에 가장 설득력 있는 근거는 다른 AI가 초래하는 위험에 맞설 방어 시스템을 구축해야 한다는 필요성입니다.
올해 내내 논의되어 온 명백한 위험 중 하나는 사이버보안입니다. AI 모델은 컴퓨터 시스템에 침입하거나 그 안의 통제 범위를 벗어나는 능력에서 인간을 뛰어넘고 있습니다. 이는 AI와 관련된 위험의 범위를 엄청나게 넓힙니다. AI 에이전트는 가장 철저하게 보안이 갖춰진 인프라를 제외하면 사실상 어떤 인프라에도 접근할 수 있게 될 것이며, 물리적인 몸이 없어도 현실 세계의 광범위한 영역에 직접 영향을 미칠 수 있게 됩니다.
지금은 현재 이용할 수 있는 최고의 모델을 활용해 핵심 시스템의 보안을 대폭 강화할 수 있는, 얼마 남지 않은 기회의 시간입니다."
https://openai.com/index/an-alien-mind/