모든 문제를 한 명의 천재가 푸는 게 아니라, 여러 명의 분야별 전문가를 대기시켜 놓고 문제에 맞는 전문가만 호출하는 방식임.
구조: 모델 내부에 여러 개의 소규모 신경망(Experts)이 있고, 이를 관리하는 '게이트웨이(Router)'가 있음.
작동 방식: 질문이 들어오면 루터가 "이건 코딩 질문이니까 코딩 전문가랑 논리 전문가만 일해!"라고 지정함.
장점: 전체 파라미터가 1,000억 개라도 실제 계산에는 100억 개만 사용하므로, 지능은 유지하면서 속도는 훨씬 빠름. (GPT-4, Claude, DeepSeek 등이 이 방식을 씀)
2. 양자화 (Quantization)
모델이 사용하는 데이터의 정밀도를 낮춰서 용량을 줄이는 기술임. 고화질 영상을 적당한 화질의 MP4로 압축하는 것과 비슷함.
작동 방식: 보통 AI는 숫자를 아주 정밀한 16비트나 32비트(FP16, FP32)로 계산함. 이걸 4비트나 8비트(INT4, INT8) 수준으로 깎아버림.
비유: '1.23456789'라는 숫자를 다 기억하지 않고 '1.2' 정도로만 기억하는 식임.
장점: * 메모리 절약: 모델 용량이 1/4 수준으로 줄어듦. (80GB짜리 모델을 20GB 그래픽카드에서 돌릴 수 있게 됨)
속도 향상: 계산해야 할 숫자가 단순해지니 연산 속도가 빨라짐.
이 두가지의 발전을 보면 27년 중반쯤엔 가능할거라고 본다고 함 gemini가...