“과학을 잘한다는 것은 무엇인가”
측정할 수 없는 것을 측정하는 것은 매우 어렵습니다. 예시로 수능 수학을 잘 본다면 이건 수학을 잘하는 것일까요? 어느 부분에서는 맞고, 어느 부분에서는 부정확한 부분이 맞습니다.
그래서 이 분야에 들어와서 처음 살펴본 것은 단순히 모델이나 시스템이 아닌 “벤치마크”였습니다. 각 벤치마크 논문을 읽다보니 벤치마크 제작은 단순히 데이터/정답으로 구성된 데이터셋과는 정당성 등의 차원이 달랐습니다. “이 질문들의 총합이 특정 분야의 역량을 측정할 수 있는가”, “데이터 유출 등의 문제는 어떻게 방지하는가” 등
그래서 일단은 수학/과학 도메인 LLM 평가 벤치마크들을 한곳에 모아보고 있습니다. 물론 각 분야마다 쓰는 AI 벤치마크도 있지만 우선적으로 “LLM을 활용한 과학”이라는 측면에서 모아보고 있습니다. 우선은 인용수/깃헙스타수/유명기관 등을 기준으로 모으고 있습니다.
https://github.com/subinium/Awesome-Scientific-LLM-Benchmarks
참고하기 좋은 출발점이 되었으면 합니다.