오픈소스 경량 모델이라고 해서 적은 데이터로 학습하는 게 아닙니다. 효율화는 주로 연산 방식과 파라미터 구조에서 일어나지, 투입 코퍼스 크기에서 일어나는 게 아닙니다. 오히려 모델 종류가 다양해지면 학습 파이프라인 수 자체가 늘어남
② 추론 단계 — 모델이 데이터를 만들어낸다
이쪽이 더 중요합니다. AI는 데이터를 소비만 하는 게 아니라 생성합니다. 합성 데이터, 모델 체크포인트, 추론 로그, 생성된 이미지·영상·문서. 그리고 모델이 싸질수록 더 많이 쓰이고, 더 많이 쓸수록 더 많은 데이터가 나온다.