중국 모델들의 체감 성능은 상당히 괜찮음. 일반적인 사무직 수준은 아득히 넘어섰고, 내가 병목이지 모델이 병목이라고 느껴지지는 않음. 벤치마크 맥싱만으로는 설명되지 않는 체감 성능. 업스테이지도 잘 좀 하면 좋겠음
중국 모델이 너무 저렴해서 프런티어 모델을 잠식한다는 통념에는 공감하기 어려움. 동급 미국 모델에 비해 조금 싸긴 한데, 여전히 개인이 API로 쓰기에는 매우 부담되는 수준. 뭐 좀 하다 보면 수십~수백 달러를 쓰게 됨. 클로드 200달러 플랜이 얼마나 퍼 주고 있는지 깨닫게 됨. 클로드/코덱스 계정 두 개씩 쓰세요.
자체 코딩 에이전트나 내장 툴이 부족해서 서드파티 에이전트나 IDE 등으로 활용해야 하므로, 99.9%의 일반 유저에게는 편의성이 너무 떨어짐. 리눅스가 무료이고 데이터 주권이 있어도 일반인이 쓰기 어려운 것처럼, 오픈 모델의 유용함을 부정하는 건 아니지만 전면 대중화되기에는 너무나 큰 벽이 있다고 느껴짐
추론 과정이 너무 느림. 메모리 월에 따른 대역폭 문제인지, 클로드/코덱스가 추론 과정을 기가 막히게 엔지니어링한 건지, 컴퓨팅 자원 자체의 문제인지, 추론 방식의 문제인지, 서드파티의 문제인지 비전문가라 모르겠으나 실사용자에게 매우 불편한 것은 사실. 느린 원인이 추론 토큰을 많이 쓰는 데 있다면 비용도 같이 늘어나므로 더 문제
이 모든 걸 뛰어넘는 장점은 가드레일이 적다는 것인데, 다리오를 포함한 효율적 이타주의자들의 선민의식에 짜증이 났다면 활용해 볼 만함. 공산주의 체제하에서 만든 모델이 가드레일이 더 적은 아이러니