요 며칠간 사용량 절약하는 업데이트만 계속 하고있는데, 정작 내가 쓰는 코덱스 사용량은 늘어만 가는 이유는 뭘까..
암튼 이번 업데이트로 같은 세션 내에서 작업된 것들 (시스템 프롬프트, 도구 정의, 긴 문서, 세션 히스토리 등)을 서버가 기억해두고, 다음 요청 때 다시 계산하지 않고 재사용한다고 합니다.
단, 캐시에 처음 쓰는 토큰은 기존보다 1.25배 늘어나며, 후 캐시에서 읽는 토큰은 0.1배 수준이라고 하네요 (90% 절감) 당연히 이 기억력은 영구적으로 유지되지 않고 시간 설정을 할 수 있는데, 30분이 기본값이며 최대 12시간까지 기억하게 할 수 있습니다.
30분 = 최초 세션 시작시 1.25배
12시간 = 최초 세션 시작시 2.5배
구독제 플랜으로 로그인된 코덱스 유저들은 시간제한같은거 없이 영구적으로 유지된다고하네요 뭐 의미있는 개선이긴한데, 정작 체감은 잘 모르겠어요
https://developers.openai.com/api/docs/guides/prompt-caching