1. 최근 신한, 국민, 하나은행까지 연이어 AI 에이전트 해킹으로 고객 정보가 유출되어버림. 외부 해킹 에이전트의 비상적 접근에서 비롯한 사고로, 기존 시스템이 AI에 어떻게 노출될 수 있는지 보여주는 사례
2. AI 발전으로 공격, 해킹이 쉬워지는(ㄹㅇ 스캐머 천국;) 것도 문제지만, 점점 더 많은 권한을 넘기게 된다는 것도 문제. 공격 도구만 강해지는 게 아니라, 사고가 났을 때 영향을 받는 범위까지 커지기 때문
3. 메타의 뮤즈는 대신 이메일을 보내고, 여행을 예약하고, 구매까지 처리함. 뮤즈도 이메일과 파일 등이 저장된 전용 환경에 공격자의 접근 취약점 보도가 나옴. 생활 서비스에서도 안전성을 계속 검증해야 함
4. 경계할 건 전부 위임해버리는 것. 편리함을 맛보면 결제도 맡기고, 업무 계정도 연결하고 싶어짐. 일을 능숙하게 처리하는 것과, 예외적 상황에서도 권한을 넘지 않고 정보를 지키는 건 다른 능력
5. AI의 실수가 줄어도 실제 피해까지 줄어든다고 단정할 수 없는 이유. 실수가 줄어드는 속도보다 맡기는 돈과 권한이 커지는 속도가 빠르면, 드물게 발생하는 한 번의 사고가 훨씬 치명적임
6. AI의 폭발적 진보를 기대한다면, 기존의 안전 기준도 그만큼 빨리 낡을 수 있음. 새로운 기능이 등장하는 속도에 맞춰 현장의 보안과 사고 대응까지 준비되기 어려운 것
7. 불확실성은 어떤 사고가 가능한지, 피해가 어디까지 번질지, 문제가 생기면 누가 책임질지부터 충분히 파악되지 않는는 뜻. 이럴 때는 틀렸을 때 감당할 수 있는 범위로 노출을 제한하는 게 차선책임
9. AI는 적극 써보되 계정/자산까지 모두 연결할 필욘 없음. 조회/실행 권한을 나누고, 필요 접근만 허용, 중요 작업엔 확인을 남김. NCSC도 작은 범위로 시작하고, 감시/통제할 수 없는 건은 배포하지 말라고 권고
10. 디파이는 같은 맥락에서 더욱 치명적임. 추가 수익은 조금 얻으면서 사고 이후 회수 가능성이 불분명한 위험까지 떠안아야 하기 때문. 큰 회사나 유명 서비스라고 이 불안을 피할 수 없음
11. 블록체인과 직결되는 연구도 있음. Anthropic은 AI가 기존에 알려지지 않았던 컨트랙트 취약점을 발견 및 악용에 성공함. FVEY도 기존의 사이버보안 능력이 몇개월 만에 도태될 수 있다고 경고함
11. 블록체인, 디파이, 크립토 분야야 원체 자주 털렸지만, AI 본격 대두 후부터 더더욱 보안사고의 빈도가 잦아지고 있는 것을 다들 느끼고 있을 것. 그 어떤 체인, 브릿지, 디파이라도 털릴 가능성을 배제할 수 없음
12. 사고확률을 추정하기 어렵고, 보상도 확신할 수 없는 곳에는 자산을 둬선 안 됨. 온체인은 되돌리기 어렵고, 사후 보상을 기대하기 어려움. 기준은 뚫리면 [누가, 무슨 돈으로, 어디까지 책임지는가?]로 잡아야 함
12. 과도기를 조심해야. 기술은 지수적으로 발전하나, 안전/사회 합의도, 어디까지 맡길지, 사후 책임과 복구도 불분명. 크립토에 국한되는 얘기가 아님. 투자, 자산 보관, 개인정보, 권한 모두 방어적으로 접근하기
✍️과도기에는 사고가 나도 손실이 제한되고 회수 경로가 남는 구조를 선택하는 게 타당함. 작은 추가 수익 때문에 떠안던 불투명하고 회복 불가능한 위험부터 없애는 것이 합리적