ICLR 2025 리뷰들을 대상으로 테스트해봤더니 인간과 거의 유사한 성능을 냈다고 하네요. 리뷰 자체의 correlation이 높다는걸 보면 합불여부가 아닌 리뷰 자체가 인간이 낸 것과 비슷하다는듯 합니다.
저널들 리뷰가 수개월씩 걸리는 것이 안타까워서 만들었다고는 하는데, 이미 리뷰어들이 리뷰 과정에서 AI에 많이 의존하고 있다는 점이 감안이 된건지 모르겠네요. 일단 원래 목적과는 다르게 리뷰 받기 전에 더 많이 쓰지 않을까..
https://x.com/AndrewYNg/status/1993001922773893273?s=20