https://x.com/zai_org/status/2093354097122455713?s=46
Glm5.3 flash 512k 컨텍스트로 했을때
M5 ultra 256gb 에서 돌릴경우
40t/s 이 나올것으로 추정.
일반적인 gpt 반응 속도 수준이라고함.
마참내 프론티어급 모델을 머신1대 로컬 llm으로 24시간 돌릴수있는 가정용 환경이 된거임.
앤비디아 6000 96gb 3개로 구성할경우
속도는 3배지만 세팅 비용은 5배, 전기도 3배 이상.
대충 2껄 vs 1흥 정도.
누진세까지 감당해야해서 가정용을 아득히 넘어섬.
(이러면 그냥 구독이 더 저렴함ㅋ)
재밌는건 시간이 갈수록 모델은 최적화 되고 필요 스펙이 낮아지는 중이라는거.