AI가 연구를 할 수 있나라는 질문이 PPO의 거절 사례, arXiv의 과부하, RLVR의 한계로 이어지는 논의
• John Schulman의 PPO 논문이 2017년 거절됐지만 이후 ChatGPT의 RLHF에서 핵심 알고리즘으로 쓰인 사례. 좋은 연구를 당시의 peer review가 알아보기 어렵다는 문제 제기
• arXiv와 학회 심사의 병목 부각. ICML은 23,000편 제출 중 6,352편 발표, ICLR에서는 AI가 쓴 review 논란, 논문 생산과 평가 모두에서 품질 관리 부담 증가
• Hugging Face의 ICML 재현 챌린지와 Ralphthon의 연구형 해커톤 등장. 논문을 실제로 재현하거나 AI review와 인간 review의 점수 상관을 보는 방식으로 보상 신호를 더 구체화하려는 시도
• Grant Sanderson과 Adam Brown 논의를 통해 드러난 수학·물리 연구의 난점. IMO 금메달은 benchmark 돌파에 가깝고, 좋은 conjecture와 definition은 수십 년 뒤에야 가치가 드러나는 긴 시간축
• RLVR은 코드·수학처럼 검증 가능한 보상에는 강하지만 writing, design, taste처럼 정답이 여러 개인 영역에는 한계. test-time compute, 추론에 힘을 얼마나 줄지 고르는 옵션과 human selection의 병행 필요성 부각
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
Good Vibe AI