AI agent 보안의 핵심은 더 똑똑한 프롬프트가 아니라, 애초에 agent가 해서는 안 될 일을 못 하게 만드는 권한 설계다.
• Shim Jae-bin은 chatbot 시절의 오류가 말로 끝났다면, agent 시대의 오류는 파일 실행, 외부 연결, 결제 같은 되돌릴 수 없는 행동으로 이어진다고 짚는다. 그래서 AI 보안은 모델 성능 문제가 아니라 제품 구조와 권한 체계의 문제로 바뀐다.
• prompt injection은 SQL injection과 같은 논리로 설명된다. LLM이 developer instruction과 외부 데이터를 같은 텍스트로 처리하기 때문에, 숨겨진 명령을 읽고 실행할 수 있으며, 특히 문서·이미지·영상에 숨어 들어오는 indirect injection은 사용자가 공격을 인지하지 못한다는 점에서 더 위험하다.
• system prompt leakage와 hard-coded API key 사례는 같은 교훈을 준다. 앱에 API key를 넣으면 disassembler로 드러나듯, system prompt에 할인 코드나 admin code를 넣고 ‘말하지 말라’고 지시하는 것은 보안이 아니라 안내문에 가깝다.
• multi-agent 시스템에서는 모든 agent에게 write 권한을 주는 순간 관리 범위가 폭발한다. Geul-lim-i 사례처럼 sub-agent는 read-only로 두고 manager agent에 권한을 모은 뒤, 결제·송금·파일 삭제 같은 비가역 작업은 사람 승인으로 넘기는 방식이 현실적인 방어선이다.
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
__Good Vibe AI