스마트 컨트랙트 보안 영역에서 AI 에이전트의 능력을 정량적으로 측정하는 평가 프레임워크입니다. 크립토 네이티브 투자사와 AI 연구 기관이 "온체인 보안"이라는 교차점에서 협업한 결과물인데, 둘의 조합이 나올 만한 타이밍이었다고 봅니다.
데이터셋은 Code4rena 감사 경쟁에서 보고된 고위험 취약점 120개를 기반으로 구성되어 있고, 40개 프로젝트에서 추출했습니다. 자금 유출로 직결되는 건만 필터링한 것이고, Stripe의 결제 전용 L1인 Tempo 감사 과정의 취약점도 일부 포함됩니다.
평가는 Detect, Patch, Exploit 세 모드로 구분됩니다. Detect는 코드베이스 전체를 대상으로 감사 보고서를 작성하는 것이고, Patch는 취약점을 수정하되 기존 기능을 유지해야 하며, Exploit는 로컬 Anvil 체인에 배포된 컨트랙트에 대해 트랜잭션을 직접 구성해서 자금을 탈취하는 것입니다. Exploit 모드의 경우 AI에게 funded wallet과 RPC 엔드포인트를 제공하고, 채점은 격리된 환경에서 트랜잭션을 리플레이한 뒤 온체인 상태 변화로 판정합니다.
주목할 점은 평가 인프라의 설계입니다. Rust 기반의 ploit 도구가 체인 배포부터 트랜잭션 리플레이, 상태 분석까지 전 과정을 관리하고, veto 프록시가 Anvil의 테스트 전용 RPC 메서드(anvil_setBalance, anvil_impersonateAccount 등)를 차단해서 치팅을 방지합니다. 블록체인의 결정론적 실행 특성을 활용해서 재현성과 검증 가능성을 확보한 구조인데, 기존 사이버보안 벤치마크 대비 채점의 객관성 면에서 장점이 있습니다.
Paradigm 입장에서는 포트폴리오 프로토콜의 보안 검증을 자동화할 수 있는 파이프라인이 되고, OpenAI 입장에서는 경제적으로 의미 있는 도메인에서 에이전트 능력을 측정하는 테스트베드를 확보한 셈입니다.
논문에서 밝히는 향후 확장 방향도 넓습니다. 솔라나, geth/reth 레벨의 실행 클라이언트 보안, MEV/멤풀 공격, ZK 회로 취약점까지 다루겠다고 하고, 보안을 넘어 스테이블코인 결제 실행이나 DEX 라우팅 같은 경제적 태스크 평가까지 언급하고 있습니다.
온체인 자산 규모가 $100B을 넘고 매주 배포되는 컨트랙트 수가 사상 최고치를 갱신하는 상황에서, AI 보안 역량을 체계적으로 측정하는 오픈소스 인프라가 나왔다는 점에 의의가 있습니다. 코드, 태스크, 평가 도구 전부 공개되어 있고 Paradigm에서 웹 인터페이스도 제공합니다.