앤트로픽의 레드팀 리서치 그룹에서 스마트 컨트랙트에 대한 AI의 해킹 수행 능력을 평가해봤다고 합니다. 결과적으로는 460만 달러 정도의 해킹이 성공했다고 하는데, 디테일을 들여다보면 아직은 크게 위협적인 정도는 아닌 것 같네요.
테스트 데이터는 DefiHackLabs가 모아둔 2020-2025의 실제 해킹 사례 405개로, 10개 모델 시험 결과 207개의 재현에 성공했다고 하네요.
추가로 올해 온체인에 배포된 컨트랙트에 존재하는 제로데이 취약점을 찾을 수 있는지 봤는데.. 2개 컨트랙트에서 3천달러 정도 뺄 수 있는 취약점을 찾았다고 합니다.
2023-2024 케이스 대상으로 정확히 어떤 케이스들을 잡았는지 보여줬으면 수준을 이해하는 데에 더 도움이 됐을 것 같네요. 생각보다 성능이 좀 많이 별로인 것 같아서 의문..
https://x.com/anthropicai/status/1995631802032287779?s=46
