Moe + ngram + mtp 조합으로
이전대비 메모리 필요량은 절반이하로 낮추고 품질은 올라감.
속도는 몇배씩 더 빨라지는등 특이점이 발생.
Jev 까지 가세하면서 내년은 로컬llm 대중화붐이 생길거같음.
종합해보면 맥스튜디오 max, ultra깡통이 24시간 실사용 가성비 모델임.
맥미니로는 연습정도만 가능할듯.
Moe + ngram + mtp 조합으로
이전대비 메모리 필요량은 절반이하로 낮추고 품질은 올라감.
속도는 몇배씩 더 빨라지는등 특이점이 발생.
Jev 까지 가세하면서 내년은 로컬llm 대중화붐이 생길거같음.
종합해보면 맥스튜디오 max, ultra깡통이 24시간 실사용 가성비 모델임.
맥미니로는 연습정도만 가능할듯.