Google Research에서 ICLR에 Turbo Quant라는 논문을 냈네요

추론 시 KV 캐시 메모리를 6배 압축해도 손실이 없게 해주어 추론 효율을 크게 올려주는 기술입니다

https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/