데이터가 바닥났을 때, AI는 어떻게 더 똑똑해질 수 있을까

•인터넷 텍스트 데이터는 연 3% 증가, pre-training 컴퓨팅은 연 4~5배 증가 → 데이터 병목이 현실화되고 있음

•Stanford·Berkeley 연구팀이 "데이터는 고정, 컴퓨팅은 무한"이라는 새로운 pre-training 패러다임을 제시

•핵심 전략은 고강도 regularization + ensembling의 조합 → 5배의 데이터 효율 달성

•수십억 파라미터 앙상블을 작은 모델로 distillation하면 효율 이득의 83%를 유지하면서 추론 비용 절감 가능

•데이터 4B 토큰만으로 73B 토큰 학습 성능을 따라잡는 실험 결과도 확인 (약 17배 효율)