272k 이상 컨텍스트 사용시 토큰 할증이 있음. 소비 토큰이 2배정도 차이남. 코덱스에게 컨텍스트 제한 콘피그 추가해달라고 하기.
model_auto_compact_token_limit = 220000 model_auto_compact_token_limit_scope = "body_after_prefix"
입력캐시 사용시에는 1/10 비용을 사용하고 캐시 쓰기에는 1.25 배 비용이 청구됨. 문서와 맥락이 동일하다면 동일 세션에서 이어가는게 절대 유리.
모르면 당하는 basis가 존재함.
출처 공식문서. developers.openai.com/api/docs/model