주말 동안 몇몇 분들이 프런티어 AI의 발전 속도를 늦추자는 주장들이 AI 인프라 증설(buildout)에 어떤 의미를 가지는지 물어봤습니다. 몇 가지 생각을 적어보겠습니다.
설령 AI 모델의 성능이 지금 이 순간부터 더 이상 전혀 향상되지 않는다고 하더라도, 현재 모델들이 이미 할 수 있는 능력을 전 세계에 보급하는 것만으로도 앞으로 수년 동안 전 세계가 건설할 수 있는 것보다 더 많은 컴퓨팅이 필요할 것입니다.
AI가 얼마나 빠른 속도로 발전하도록 허용해야 하는지에 대한 논쟁은 충분히 해볼 만한 논쟁입니다. 하지만 그것은 미래 세대의 모델들에 관한 이야기입니다.
제가 보기에는 사람들이 잘못 해석하고 있는 부분은 현재 이미 존재하는 수요(existing demand)입니다.
앤스로픽 CEO 다리오 아모데이는 지난 5월, 자신들은 원래 10배 성장을 계획했는데 1분기에는 80배 성장 속도로 가고 있었다고 말했습니다. 그리고 이것이 바로 그들이 컴퓨팅 공급에 어려움을 겪었던 이유라고 설명했습니다.
오픈AI 사장 그렉 브록먼은 지난 7월, 어떤 경우든 컴퓨팅 부족 상태에 놓이게 될 것이며, 어떤 제품을 우선적으로 확장할지를 선택하고 있다고 말했습니다.
구글은 현재 1년 전보다 7배 많은 토큰을 처리하고 있다고 밝혔습니다.
오늘날 수억 명의 사람들이 이러한 모델을 사용하고 있고, 그중 대부분은 현재 모델들이 이미 할 수 있는 능력의 아주 일부만 활용하고 있습니다.
그리고 새로운 컴퓨팅이 추가될 때마다 사용량은 다시 한 단계 뛰어오릅니다.
이미 사용하고 있던 사람들의 사용 제한이 풀리고,
이전에 컴퓨팅 부족 때문에 받아주지 못했던 고객들이 들어오며,
누구의 계획에도 들어 있지 않았던 새로운 활용 사례들이 등장합니다.
이제 공급 측면을 보겠습니다.
현재 핵심 제약은 HBM입니다. HBM은 모든 주요 AI 칩 내부에 들어가는 메모리입니다.
이를 생산하는 회사는 세 곳뿐이며, 세 회사 모두 올해 생산 물량이 이미 매진됐습니다.
새로운 메모리 공장을 짓는 데에는 수년이 걸립니다.
트렌드포스는 내년 HBM 출하량이 50~60% 증가할 것으로 예상하고 있습니다.
HBM의 최대 구매자인 엔비디아는 내년 매출이 약 70% 성장할 것으로 예상하고 있으며, 이 전망을 ‘공급 제약을 받는(supply-constrained)’ 전망이라고 표현하고 있습니다.
또한 엔비디아는 고객사들의 수요 전망을 보면 실제로는 100% 성장에 더 가까운 수준을 가리키고 있다고 말하고 있습니다.
우리 자체적으로 진행한 바텀업 분석에서도, 메모리 공급 제약을 감안했을 때 가능한 성장률은 엔비디아가 제시한 성장률과 대략 비슷한 수준으로 나옵니다.
그리고 이렇게 생산된 칩들은 다시 전력이 연결된 건물 안에 들어가야 하는데, 이것은 또다시 더 오랜 시간이 걸립니다.
골드만삭스는 향후 2년 동안 미국에서 건설될 예정인 데이터센터 용량 가운데 실제로 일정대로 완공될 수 있는 것은 약 절반에 불과할 것이라고 추정하고 있습니다.
결국 수요에 대한 리스크는 여전히 압도적으로 상방에 치우쳐 있는 것으로 보입니다.
반면 공급에 대한 리스크는 예상보다 더 많은 용량이 건설되는 방향이 아니라, 오히려 더 적은 용량만 건설되는 방향에 치우쳐 있는 것으로 보입니다.
https://x.com/danroberts0101/status/2099441194006954418?s=20