오픈제플린에서 OpenAI & 패러다임이 발표한 컨트랙트 보안 벤치마크인 EVMBench를 오딧한 결과를 방금 올렸네요.

학습 데이터가 유효한지에 대한 내용이 주를 이루는데, 크게 두가지를 지적했습니다.

1. 평가 데이터셋이 주로 2024-2025의 경쟁형 퍼블릭 오딧으로부터 가져온 것.

-> Opus 4.6, GPT-5.2 등의 학습 데이터가 이미 이들을 포함시켰을 가능성이 높음.
-> 평가 과정에서 웹 검색은 차단되었지만 이미 학습된 데이터를 unlearning시키지는 못했을 것.

2. 데이터 퀄리티 문제

-> EVMBench가 고위험으로 판정한 4개의 취약점은 실제로 익스플로잇 불가능함.
-> 이들은 공통적으로 컴파일러 버전이나 설계 특성을 제대로 반영하지 못해 발생한 오류

정당한 지적인 걸로 보이는데, 패러다임에서 어떻게 답변할지 궁금하네요.