[공격 유형]
1. 컨텐츠 삽입: 사람에게 직접적으로 노출되지 않지만 에이전트는 파싱하는 영역에 악성 페이로드를 넣어둡니다. CSS로 숨기거나, 에이전트 방문시에만 동적으로 로딩하거나, 이미지 픽셀 데이터에 인코딩하는 방식.
2. 시맨틱 조작: 편향된 어조와 프레이밍으로 추론 결과를 왜곡하거나, 교육/연습 등의 프레임워크로 보호 기법 우회.
3. 인지 상태 공격: RAG 데이터베이스에 거짓 정보를 주입하거나, 장기 메모리에 악성 데이터를 심는 방식. 0.1%의 데이터 오염으로도 80% 이상의 공격 성공률을 보임
4. 행동 조작: 외부 리소스에 삽입된 탈옥 프롬프트로 보호 기법 무력화 / 민감 데이터 전송 유도 / 악성 서브에이전트 생성 유도
5. 시스템적 트랩: 다중 에이전트 시스템을 감지하고 에이전트를 혼란시키거나, 악성 페이로드를 조각으로 나누어 각 서브에이전트에 배포하는 방식 사용 가능
6. human in the loop 공격: 인간 관리자의 자동화 편향이나 approval 피로도를 악용
공격 기법은 많이 제안되고 활용되고 있는데, 방어 기법은 연구가 덜 된 비대칭적 상황인 것 같다는 생각.
논문: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=6372438