왜 요즘 GPT-5.5가 체감상 좋게 느껴졌는지 설명해주는 벤치마크가 나왔습니다.

Datacurve가 공개한 새 코딩 에이전트 벤치마크 DeepSWE에서 gpt-5.5가 1위를 기록했습니다.

이 벤치마크가 흥미로운 이유는 단순 알고리즘 문제나 짧은 버그 수정이 아니라, 실제 개발자가 에이전트에게 맡기는 것처럼 짧고 자연스러운 요청만 주고, 모델이 코드베이스를 탐색해서 긴 작업을 끝까지 해결하는 능력을 측정하기 때문입니다.

결과를 보면:

특히 원문에서 GPT-5.5에 대해 인상적인 포인트는, 단순히 점수가 높은 것뿐 아니라 프롬프트에 적힌 요구사항을 빠뜨리지 않고 정확히 구현하는 경향이 강했다는 점입니다.

DeepSWE 분석에 따르면 Claude 계열은 여러 조건이 함께 있는 작업에서 한쪽 분기만 구현하고 다른 요구사항을 놓치는 패턴이 자주 보였고, GPT-5.5/GPT-5.4는 프롬프트와 코드베이스의 공개 계약을 더 문자 그대로 읽고 반영하는 경향을 보였습니다.

또 GPT-5.5는 DeepSWE에서 70% 최고 점수를 내면서도, 토큰 효율성과 시간 효율성 면에서도 좋은 편으로 나타났습니다. 원문에 따르면 GPT-5.5는 trial당 중앙값 기준 약 47k output tokens, 약 20분으로 최고 점수를 달성했습니다.

즉 요즘 GPT-5.5가 체감상 좋아 보이는 이유는 단순히 “똑똑해졌다”라기보다, 실제 개발 작업에서 중요한 능력인:

요구사항 누락 감소 + 긴 작업 유지력 + 코드베이스 탐색력 + 검증까지 가는 안정성

이 조합이 좋아졌기 때문으로 볼 수 있습니다.