😯AI를 믿지 마라 source

· MS CEO 사티아 나델라가 초지능 시대의 AI 보안에 관한 흥미로운 글을 발표함
· AI 모델을 신뢰할 대상이 아니라, 잠재적인 내부 보안 위협으로 취급해야 한다는 것

1. 기존 소프트웨어와 AI의 차이

• 전통 소프트웨어는 문제가 발생하면 어떤 코드가 원인인지 추적할 수 있었음
• 반면 AI는 내부 작동 원리를 이해하거나 특정 행동의 원인을 정확하게 추적하기 어려움

• 우리는 이미 이런 AI에 기업의 기밀정보와 중요한 업무 권한을 넘겨주기 시작했음

2. 해결책은 AI를 신뢰하는 것이 아님

• 아무리 똑똑한 직원이라도 회사의 모든 정보와 권한을 부여하지는 않음
• AI 역시 실수하거나 외부 공격에 악용될 수 있는 내부자로 취급

• 핵심은 AI의 지능과 AI가 행사할 수 있는 권한을 분리하는 것

3. 나델라가 제안한 7가지 통제 원칙

• 모델 다양성: 하나의 AI에 모든 판단과 검증을 의존하지 않기
• 관측 가능성: 모든 주요 행동을 위변조 불가능한 기록으로 남기기

• 검증 가능성: 정상 작동뿐 아니라 오류와 공격 상황까지 지속적으로 테스트
• 독립적 권한 통제: AI가 접근할 정보와 실행할 작업은 외부 시스템에서 결정

• 독립적 감사: AI가 자신의 행동을 스스로 검증하는 구조 방지
• 격리 및 중단: AI가 침해됐다고 가정하고 언제든 작동을 중단할 수 있도록 설계

• 사고 공개: 문제가 발생하면 원인과 대응 방법을 공유

✍️신뢰할 수 있는 초지능 시스템은 믿을 만한 모델을 사용하는 시스템이 아니라, 모델을 적게 신뢰해도 되는 시스템