Kimi K3의 핵심은 새 발명 하나가 아니라, 긴 context와 frontier급 성능을 위해 Transformer를 사실상 다른 하이브리드 구조로 밀어붙인 데 있다.
• Kimi K3는 2.8T parameters, MoE 구조, 104B activation, 1 million context를 내세운 open frontier model이다. 이 규모의 open weights가 나온다는 것은 frontier 경쟁이 폐쇄 모델의 성능 싸움에서 대규모 구조 실험의 공개 확산으로 옮겨가고 있음을 뜻한다.
• 영상의 핵심 해석은 Kimi K3가 더 이상 전통적 Transformer로 보기 어렵다는 점이다. Linear Attention, Gated DeltaNet, KDA, MLA를 3:1로 섞는 방식은 attention 비용을 줄이면서 잃어버린 정보를 다시 보정하는 구조라서, 현재 LLM 발전이 ‘깔끔한 새 원리’보다 압축과 보정의 엔지니어링으로 움직인다는 것을 보여준다.
• MoE도 단순히 expert를 많이 붙이는 단계가 아니라, sparsity와 latent compression으로 계산 자원을 재배치하는 단계에 들어섰다. DeepSeekMoE, Latent MoE, Stable Latent MoE로 이어지는 흐름은 더 많은 패턴을 담기 위해 expert 수를 늘리되, 불안정성을 normalization, quantile, routing 보정으로 관리하는 방향이다.
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
__Good Vibe AI