Engram, Conditional Memory, 저비용 고효율
2025년 1월, Deepseek가 R1(추론),V3(비추론) 모델을 발표하며 시장에 충격을 가져온지 정확히 1년만에 다시 V4 공개를 예고하며 논문을 발표했다.
작년의 Shock는 MoE구조를 활용해 GPU 연산을 극적으로 효율화하여 저렴한 칩으로 프론티어 모델의 성능을 내면서 왔다.
항상 Dense를 써서 파라미터를 키울 때 기하급수적으로 비용이 증가하던 것을, 전문가 구조로 필요한 부분만 활성화 하는 구조인 MoE 자체는 17년 Google 리서쳐의 논문발표로 이미 주목을 받긴 하였으나 DeepSeek에서 실전 적용해 효율을 증명하며, 25년의 트렌드가 되었다.
그리고 이젠 모두가 알듯이, GPU를 효율적으로 쓰고 추론모델이 주가 되며 긴 컨텍스트에서 KV캐쉬가 폭증하자 메모리 대역폭과 용량이 병목이 되었다.
V4는 이제 Engram 이라는 방식을 통해 '메모리 효율화'를 타겟한다. 간단히(?) 핵심 변경사항을 정리하면
1. 텍스트 압축/호스트 메모리(DRAM/SSD) 저장
- 기존 방식에서는 정적 지식(이름,고정패턴 등)을 매번 재구성해야 하며 이는 초기 레이어의 깊이를 낭비.
- Engram은 tokenizer compression(표기만 다른 같은 토큰 들을 합치며, 23% 어휘 줄임)으로 N-gram을 키로 테이블 구성, GPU HBM 대신 호스트(DRAM/SSD)에 저장.
- 이제 모든 정보를 KV cache로 들고 있을 필요가 없어짐.
- 필요 시 O(1) 룩업으로 Transformer 보강.
- Zipfian 분포 활용: 빈도 높으면 GPU 캐싱, 희귀하면 SSD – 메모리 용량 최소.
2. 병목없는 메모리 on-off loading
자연스럽게 읽다보면, 이걸 SSD/DRAM으로 내려서 저장하면 그거 불러오는게 병목 아니야? 안그래도 최대한 GPU에 메모리 붙여서 가깝게 두려하는데...을! 해결하기 위한 여러 노력.
- Sparse Retrieval via Hashed N-grams: 로컬 컨텍스트 키로 해싱 검색, 멀티헤드 충돌 최소
- Deterministic retrieval(입력 토큰으로 주소 예측) + prefetching(미리 불러오기). 결론적으로는 overhead <3%.
- 멀티레벨 캐싱(HBM/DRAM/SSD 분산) 병목 피함
아직 V4 모델 자체가 공개된건 아니고 미리보기로 논문이 올라온건데 소문으로는 Opus 4.5, GPT-5.2 codex를 앞선 SOTA를 코딩 테스트에서 앞섰다는 말이 있긴 하다. 2월 중순 출시 후에, 사실로 드러나면 26년 프론티어 모델들도 앞다투어 도입하지 않을까 싶다. 연구의 단초는 항상 미국에서 나오지만(MoE, hashed N-gram) 그걸 기발하게 조합해서 breakthrough를 찾아내는게 중국이라는 사실이 놀랍다.
🪶 영향?
25년 Deepseek shock 때는 수요가 줄어들거라는 잘못된 생각으로 잠시 NVDA등이 하락했었는데, 이제는 다들 학습이 되었다. 비용이 싸지면 기존껄 싸게 쓰는게 아니라 더 좋은걸 같은 가격에 만들고, 더 좋은 것은 새로운 분야에 도입을 가능하게 만들며 수요는 오히려 더 늘어난다.
필요한 성능에 도달하기 위한 가격이 너무 비싸 도입하지 못했던 기업들까지도 해볼만한 가격이 오면 뒤쳐지지 않기 위해 도입 할 수 밖에 없다.
NVDA 수요도 줄지 않았듯이 메모리 반도체 기업들도 오히려 수요가 더 늘어날 것 같다.