NVIDIA가 Qwen3.6-35B-A3B의 FP4 최적화 버전을 공개했습니다.
이 모델은 총 35B 파라미터를 갖고 있지만, MoE(Mixture of Experts) 구조라 실제 추론 시에는 약 3B 정도만 활성화됩니다.
여기에 FP4(4bit Floating Point) 양자화를 적용하면서 메모리 사용량을 크게 줄였습니다.
기존 BF16 기준으로는 가중치만 약 70GB VRAM이 필요했고, 실제 추론은 80~100GB급 GPU를 사실상 요구했습니다.
FP4 버전은 모델 크기가 약 3배 줄어들면서 약 23GB 수준까지 내려왔습니다.
덕분에 RTX 3090, RTX 4090 같은 24GB GPU에서도 실행이 가능해졌고, 기존에는 서버급 GPU가 필요했던 모델을 소비자 GPU에서도 다룰 수 있는 환경이 만들어지고 있습니다.
많은 분들이 "35B가 3B처럼 실행된다"는 문구를 보고 3B 모델 수준의 메모리만 필요하다고 오해하는데, 그렇지는 않습니다.
메모리는 여전히 35B 모델을 저장해야 하지만, 추론할 때 계산하는 파라미터만 약 3B 수준이라 연산량이 크게 줄어드는 것이 MoE의 특징입니다.
최근 로컬 AI 흐름을 보면 모델 성능 경쟁만큼이나 양자화와 추론 엔진 최적화가 빠르게 발전하고 있습니다.
같은 GPU에서도 더 큰 모델을 돌리고, 더 빠르게 추론하는 시대가 생각보다 빨리 오고 있습니다.