"SWE-Bench Pro에서 약 30% 작업에 문제가 있는 것으로 추정"
크게 4가지 케이스에 대한 이슈인데, 정리해보면 문제가 잘못되었거나 또는 채점 기준이 너무 엄격하거나 또는 너무 모호하거나 약하다.로 볼 수 있습니다.
살짝은 다르지만 비슷한 결로 저는 스스로에게 그런 질문을 던지고 있습니다. "AlphaFold의 모델을 생명과학 지식이 없는 엔지니어(=본인)가 사용하면 이것을 제대로 활용할 수 있을까?" 우선 저는 일단 충분한 가이드라인과 이를 해석할 수 있는 능력이 없다면 불가능하지 않을까 라는 현재 시점의 결론을 내렸습니다. 실제로 지금 살펴보는 많은 BioAI 리서치를 살펴보면 어느 순간 내가 뭐를 읽고 있지 싶기도 합니다. 부끄럽지만 해석 능력이 부족한 것이지요.
우리는 이미 꽤 오랫동안 개인은 물론 AI를 작은 그룹의 전문가 집단으로는 온전히 이해하거나 검증하기 어려운 문제를 풀기 위해 학습하고 사용하고 있습니다. 문제는 점점 더 복잡해지고 있고, 평가 대상도 점점 더 모델이 처음 마주하는 과제로 이동하고 있다는 것은 매우 긍정적이면서도, 하지만 그만큼 평가에서 false positive와 false negative가 생길 가능성도 커지고 있습니다.
결국 중요한 것은 모델이 정답을 맞혔는지만이 아닙니다. 그 답을 판단하는 기준점/루브릭이 적절한지도 봐야 합니다. 그리고 모델이 틀렸다면, 왜 틀렸는지, 어떻게 틀렸는지, 그 실패가 무엇을 드러내는지를 봐야 합니다. 벤치마크는 더더욱 해석하기 어려울 것이고, 그렇기에 AI가 좋아질수록 전문성의 가치는 사라지는 것이 아니라, 오히려 더 중요해집니다.
> 모든 것이 자동화되는 미래에는 AI의 결과를 해석하고, 검증하고, 평가의 의미를 다시 물을 수 있는 사람만이 살아남는다.
라는 생각을 하며 오늘도 수없이 많이 생성되는 slop 숲에서 지식 한 그루를 하나씩 심어봅니다...
https://openai.com/index/separating-signal-from-noise-coding-evaluations/