모델학습에 사용된 컨텍스트 사이즈에 맞춰서 답변도 같이 최적화가 이루어짐.
사용할때 컨텍스트가 다르면 영 좋지않은 결과가 나올 수있음.
컨텍스트가 500k면 실제메모리 50gb 이상 차지한다고함. 어마어마하쥬.
현재의 gpt sol이 큰 컨텍스트로 학습시키고.
작은 컨텍스트로 제한을 걸어버리는 바람에 용두사미 결과가 자주 나오는 이유임.
클로드도 그냥 1M에 맞춰놓고 사용하는게 품질 격차가 줄어들듯.
Glm 5.3 이 뛰어난 이유도 인풋아웃풋 모두 1M컨텍스트에 맞추면서도 저렴한 비용에 있음.
어케했노?
그록은 빨리 500k를 벗어나기 바람.