대상은 GraphQL-go-tools의 실제 PR/commit 기반 태스크였고, 단순 테스트 통과뿐 아니라 “인간 PR과 의미상 같은가”, “코드리뷰를 통과할 만한가”, “패치 범위가 과도하지 않은가”까지 평가했습니다.
결과는 대략 이렇습니다.
- 테스트 통과: low 21/26, medium 21/26, high 25/26, xhigh 24/26
- 인간 패치와 동등: low 4/26, medium 11/26, high 18/26, xhigh 23/26
- 코드리뷰 통과: low 3/26, medium 5/26, high 10/26, xhigh 18/26
- 평균 비용: low $2.65, medium $3.13, high $4.49, xhigh $9.77
핵심은 reasoning을 올린다고 단순히 테스트 통과율만 오르는 게 아니라, “패치의 성격”이 달라진다는 점입니다. low→medium에서는 추측성 구현이 줄고 도메인 모델링이 좋아졌고, medium→high가 실전 가성비 점프였습니다. high는 테스트·동등성·리뷰 품질이 크게 좋아지면서 비용 상승도 아직 감당 가능한 수준이었습니다.
xhigh는 가장 좋은 품질 모드에 가깝지만 기본값으로 쓰기엔 비쌉니다. 인간 PR과의 동등성, 리뷰 통과율은 최고였지만 비용이 high의 2배 이상이고, 더 많은 파일과 테스트/fixture를 건드려 리뷰 부담도 커졌습니다.
결론: 일반적인 실전 코딩 작업은 high가 sweet spot, 복잡한 동시성·검증·크로스컷팅 변경은 xhigh를 쓰는 전략이 좋아 보입니다.
* 출처: https://www.reddit.com/r/codex/comments/1t7dqnc/gpt55_low_vs_medium_vs_high_vs_xhigh_the