OpenAI, 추론 비용 절반 이하로 줄인 최적화 기법 내부 공유

• OpenAI 엔지니어들이 이달 초 추론 비용을 절반 이하로 줄이는 최적화 기법을 내부 공유
• ChatGPT 일부 사용자군 적용 시 필요한 엔비디아 GPU 수가 한때 수백 개 수준까지 감소
• 구체적 방법 미공개지만 양자화·KV 캐싱·배치 처리·쿼리 라우팅 복합 적용으로 추정
• 절감분은 API 가격 인하·질의 한도 확대 또는 GPM 개선(현 39% → 목표 52%)에 활용 가능
• 토큰 가격 하락을 위한 기술적인 발전도 이뤄지는 중