실험은 Zod 27개, graphql-go-tools 29개 태스크를 대상으로 했고, 단순 테스트 통과뿐 아니라 “인간 코드리뷰를 통과할 만한가”, “실제 패치와 동등한가”까지 봤습니다.
결과는 GPT-5.5가 가장 좋았습니다.
- 테스트 통과: GPT-5.5 38/56, Opus 4.7 33/56, GPT-5.4 31/56
- 인간 패치와 동등: GPT-5.5 40/56, GPT-5.4 35/56, Opus 4.7 19/56
- 클린 패스: GPT-5.5 28/56, GPT-5.4 11/56, Opus 4.7 10/56
핵심은 “테스트만 통과하는 코드”와 “실제로 머지 가능한 코드”는 다르다는 점입니다. GPT-5.5는 패치 범위가 커질 수 있지만, 관련 파일·미러 구조·동반 변경까지 챙겨 실제 PR에 가까운 결과를 더 자주 냈다고 합니다.
반면 Opus 4.7은 작은 diff를 만드는 보수적인 성향이 장점이지만, 복잡한 repo에서는 필요한 변경을 빠뜨리는 경우가 많았다고 합니다.
클로드는 당장 opus 5.0 을 내놔라