숙련된 인간 개발자가 14.5시간 안에 푸는 소프트웨어 과제를 50% 확률로 풀었다.
즉, 인간 개발자가 14.5시간 걸리는 작업을 Claude가 혼자 해낼 수 있다는 거.
14.5시간이면 거의 이틀치 업무량.
근데 저 테스트 만드는 기관 자체가 "우리 테스트가 거의 포화 상태"라고 하는 중임.
테스트가 너무 쉬워져서 정확한 측정이 어렵다는 뜻.
실제로는 더 높을 수 있음.
숙련된 인간 개발자가 14.5시간 안에 푸는 소프트웨어 과제를 50% 확률로 풀었다.
즉, 인간 개발자가 14.5시간 걸리는 작업을 Claude가 혼자 해낼 수 있다는 거.
14.5시간이면 거의 이틀치 업무량.
근데 저 테스트 만드는 기관 자체가 "우리 테스트가 거의 포화 상태"라고 하는 중임.
테스트가 너무 쉬워져서 정확한 측정이 어렵다는 뜻.
실제로는 더 높을 수 있음.