- AI 에이전트가 스마트 컨트랙트의 보안 취약점을 찾아내고, 수정하며, 공격할 수 있는지를 측정하기 위한 벤치마크
- Detect: 코드 저장소를 분석하여 심각한 취약점을 찾아냄
- Patch: 기존 기능을 망가뜨리지 않으면서 취약한 코드를 수정하여 안전하게 만듬
- Exploit: 격리된 샌드박스 환경에서 실제로 자금을 탈취하거나 컨트랙트를 장악하는 공격 시나리오를 실행
- 40여 개의 실제 보안 감사(Code4rena 등)에서 수집된 120개의 고위험 취약점으로 구성
- Stripe의 결제 인프라 Tempo에서 발생할 수 있는 보안 시나리오 테스트함
- AI는 명확한 목표(자금을 탈취하라)가 주어지는 익스플로잇 작업에는 강하지만, 전체 코드를 꼼꼼히 훑어 모든 문제를 찾아내는 탐지나 정교한 패치 작업에서는 여전히 어려움을 겪고 있음
- AI Audit의 미래: Codex 모델 성능이 단기간에 70% 이상으로 올라온 점을 들어, 향후 AI가 스마트 컨트랙트 감사의 상당 부분을 담당할 것으로 전망
https://openai.com/index/introducing-evmbench/