OPEN AI가 양자화, 모델 라우팅, KV-cache, 배치 처리, speculative decoding, prompt caching, long-context 최적화, 네트워크/메모리 병목 개선을 통해서 만들어내…

OPEN AI가 양자화, 모델 라우팅, KV-cache, 배치 처리, speculative decoding, prompt caching, long-context 최적화, 네트워크/메모리 병목 개선을 통해서 만들어내기는 했는데, 실제 사용에서는 좀 제한적이라네요.

특정 워크로드에서만 쓰거나 / 사용량이 제한될 것 같다고는 하네요.