> 중국은 최신 GPU나 그만큼 많은 GPU에 접근할 수 없습니다. 또한 리소그래피 도구나 고급 ASIC을 만드는 데 필요한 다른 전구체에도 접근할 수 없습니다.
> 미국 연구소의 GPU의 일부만 가지고도 중국 연구소는 항상 미국 연구소 바로 뒤에 따라갈 수 있습니다.
> 이의 한 가지 해석은 중국 연구소가 모델 훈련에서 놀라운 효율성을 가지고 있다는 것입니다. 이는 AI 구축 수요가 크게 줄어들 것임을 암시합니다.
> 3단계의 문제는 중국 모델이 추론이나 LLM에 쿼리를 할 때 추가적인 효율성이 없다는 점입니다. 훈련과 추론 효율성은 함께 옵니다.
> 따라서 4단계에서 중국 연구소가 놀라운 훈련 효율성을 가지고 있으면서도 이를 맞추는 추론 효율성이 없다는 것은 가능성이 낮습니다.
> 따라서 원인은 중국 연구소의 "훈련 효율성"이 기본적으로 미국 모델에서 증류하는 것, 즉 미국 모델을 사용해 중국 모델을 훈련하는 것이라는 것입니다.
> 미국 모델은 여전히 AI를 앞으로 밀고 나가며 훈련을 위해 많은 GPU를 구매할 것입니다.
> 미국 프론티어 모델에 쿼리(추론)를 하든 중국 오픈 소스 모델에 쿼리하든 – 여전히 비슷한 양의 GPU가 필요합니다. 추론 GPU에 대한 수요는 훈련 GPU보다 빠르게 증가하고 있습니다.
> 그리고 화웨이 Ascend 같은 중국 ASIC이 잘하고 있다는 사람들도 있습니다. 그러나 이것은 중국에 가보면 그들의 오픈 소스 모델이 컴퓨트 부족으로 인해 심하게 약화(nerfed)되어 있다는 사실에 의해 반박됩니다.
> 또한 중국 개발자들은 Claude 코드에 접근하기 위해 VPN을 사용합니다. 중국 모델은 실제로 코딩에 능숙하지만, 중국 내에서는 충분한 컴퓨트가 없기 때문에 중국에서 제공될 때 중국 모델이 약화됩니다.
https://x.com/jiahanjimliu/status/2077906546550596047