🤖 사카나 AI의 논문, 동료 심사 통과 주장의 실체

BQ 개발자입니다.

일본 AI 스타트업 사카나(Sakana)가 자사의 AI가 생성한 논문이 동료 심사(peer review)를 통과했다고 발표했습니다 ㄷㄷ. 이게 왜 중요한 소식일까요?

동료 심사(peer review)는 학술 연구의 품질 관문이라고 할 수 있습니다. 해당 분야 전문가들이 논문의 방법론, 결과, 결론 등을 꼼꼼히 검토하여 과학적 신뢰성을 검증하는 과정인데요. AI가 이 과정을 통과했다는 것은 인간 전문가 수준의 학술적 글쓰기와 연구 설계가 가능해졌다는 의미로 해석될 수 있습니다.

사카나는 'The AI Scientist-v2'라는 AI 시스템으로 논문을 "처음부터 끝까지" 생성했다고 합니다. 여기에는:

• 과학적 가설 수립

• 실험 설계 및 코드 작성

• 데이터 분석과 시각화

• 본문 작성 및 제목 선정까지 모든 과정이 포함됐다고 하네요

이 논문들은 AI 학회인 ICLR의 워크숍에 제출되었고, 그중 한 편이 심사를 통과했다고 합니다. 이는 AI가 단순히 글을 쓰는 것을 넘어 학술적 기준에 맞는 연구를 설계하고 결과를 분석할 수 있다는 점을 시사하긴 하지만 사카나는 투명성을 위해 해당 논문을 즉시 철회했다고 밝혔습니다.

개인적으로 이 성과를 평가할 때 고려할 점들이 좀 더 있다고 생각해요

• 논문에는 인용 오류 등 "당혹스러운" 실수들이 있었음

• 워크숍 심사는 본 학회보다 통과 기준이 낮은 편임

• 추가적인 '메타 리뷰' 단계를 거치지 않았음

• 사카나 측이 생성된 여러 논문 중 가능성 있는 것만 선별해 제출했음

업계 전문가들은 이에 대해 "AI 단독으로 과학적 발전을 이룬 것이 아니라 사람과 AI의 협업이 효과적임을 보여준 사례"라고 평가하는거 같구요.

또한 이는 AI가 과학 연구 과정에 참여할 수 있는 가능성을 보여주지만, 동시에 학술 출판의 미래에 대한 윤리적 질문도 제기합니다.

AI가 생성한 논문이 학술지를 채우게 된다면 과학 문헌의 질과 신뢰성은 어떻게 보장할 수 있을지도.. 흠

사카나 역시 분위기를 잘 읽었는지 자사의 AI가 혁신적인 연구를 할 수 있다고 주장하진 않는 것 같아요. 대신 "AI 생성 연구의 품질을 연구하고 AI 생성 과학에 관한 규범의 시급한 필요성을 강조하기 위한 실험"이었다고 설명하네요

---

여러분의 좋아요와 공유는 사랑입니다 😍