https://openai.com/index/introducing-evmbench/
- AI 에이전트의 코드 읽기, 쓰기, 실행 능력이 강화됨에 따라 AI 시스템을 방어적으로 활용하는 것이 중요해지고 있음
- 패러다임과 함께 AI 에이전트가 스마트 계약 취약점을 탐지, 패치 및 Exploit하는 능력을 평가하는 밴치마크를 개발
- 40개의 오딧에서 120개의 선별된 취약점들로부터 밴치마크를 뽑아냄. 스테이블을 위한 L1인 Tempo 블록체인의 여러 보안 취약점 시나리오도 포함되었기 때문에 AI 에이전트 기반 스테이블 코인 결제에서 중요한 벤치마크로 작용할 것
- EVMBench는 1) 취약점 탐지, 2) 취약점 패치, 3) Exploit (취약점 공격, 로컬 네트워크 환경) 세가지 부분을 평가함
- GPT-5.3-Codex는 72.2%의 점수를 달성하였고, 이는 GPT-5가 31.9%인 것에 비해 상당히 향상된 것. 하지만 여전히 에이전트가 찾아내고 수정하기 어려운 취약점이 많음
- 에이전트들은 대게 자금 고갈이라는 목표가 명확한 Exploit에서 가장 좋은 성능을 보이지만, 탐지와 패치에서 어려움을 보임. 특히 미묘한 취약점을 제거하며 모든 기능을 유지하는 것이 어려움.
- 앞으로 보안 리서처들이 AI 기반 감사를 워크플로에 통합하는 것이 점점 중요해질 것