일부 레이어 오프로딩해서 무검열 쓰는 방법도 있는데 성능은 소넷 4.5정도? 나오는 거 같습니다 (rtx 5070ti 기준 77토큰속도 나옴)
Telegram · @Katzenote
200만원 이하 가성비 구간으로는 30b정도 MoE 모델 16gb이상 vram으로 5~4비트 양자화
- 投稿日時
- 2026.06.13 12:43
- 閲覧数
- 361
- 転送数
- 2
일부 레이어 오프로딩해서 무검열 쓰는 방법도 있는데 성능은 소넷 4.5정도? 나오는 거 같습니다 (rtx 5070ti 기준 77토큰속도 나옴)