암튼 이번에는 흥미로운 기밀 수치들 위주로 풀겠습니다.
1. 현재 미국 프론티어 내부모델 중 최대 활성 파라미터는 대략 800B이다. (전체 활성은 모름) 다만, 이것은 추론용으로는 너무 무거워서 의미가 없다.
2. 중국 내부모델은 수십B 수준의 활성 파라미터를 가지고 있다.
3. 화웨이 950 칩 4개는 GB300 1개와 성능이 비슷하다. 대략 격차는 2년이다.
4. 엔비디아의 독점적 해자는 깨지고 있다. 첫째로, 쿠다 시스템이 이제 AI에 의해 전면 재작성 될 수 있는 수준이 됐다. 둘째로, 쿠다는 게이밍용으로도 설계되었다. (대충 레거시 지원 때문에 비효율성 지적)
5. 화웨이는 칩 공급력이 너무 떨어진다. 딥시크는 현재 화웨이 칩 16000대 밖에 공급을 못받았다.
6. 하지만 화웨이 칩이 충분하다면, 엔비디아 GB300을 대체하여 훈련이 가능하다. 부족한건 칩의 수 뿐이다.
7. V4와 V4 후속 모델들은 멀티모달을 지원할 것이다. 다만, 우리는 여전히 그것을 지능의 요소로써 취급하지 않는다.
8. 딥시크는 칩을 만들지 않을 것이다. 어차피 엔비디아의 과도한 이익은 경쟁자에 의해서 무너지게 되어있기 때문에 합리적인 가격의 칩을 공급받을 수 있다.
9. 미국과 중국의 종합적인 AI 격차는 현재 12에서 18개월 정도다. 하지만 그것은 미국과 중국의 AI 컴퓨팅 파워 격차가 12배인 것을 감안하면 크지 않다. 그 맥락에 따라 미 중의 종합적 격차는 6개월 까지 줄어들 수 있고, 목표는 3개월이다.
10. 내년 4월까지 딥시크는 활성 파라미터 150B 수준의 모델을 낼 수 있다.