1. Sail Research의 Neil Movva는 AI의 미래를 “빠른 챗봇”이 아니라 몇 시간~며칠씩 백그라운드에서 일하는 에이전트로 보며, 이 시장에선 지연시간보다 토큰 단가가 훨씬 중요하다고 본다.
2. 핵심 주장은 단순하다: 인간이 기다리는 실시간 추론은 Nvidia식 저지연 스택이 지배하지만, 백그라운드 에이전트는 1~10 tokens/sec만 나와도 충분해 훨씬 싼 컴퓨트 조합이 가능하다는 것.
3. 여기서 투자 포인트는 “최고 성능 칩”보다 “성능 대비 가격이 잘못 매겨진 칩”이다; 그는 “나쁜 칩은 없고, 나쁜 가격만 있다”며 AMD, TPU, Trainium, 기타 신생칩까지 맞는 가격이면 다 쓸 수 있다고 말한다.
4. 구체적으로는 Nvidia의 강점인 NVLink가 저지연 추론엔 필수지만, 장시간 배치형 추론에는 덜 중요해지고, 그래서 flops per dollar가 높은 비Nvidia 칩들이 살아날 여지가 있다고 본다.
5. 이건 반도체 투자 내러티브를 바꾼다: 지금 시장은 여전히 Blackwell scarcity와 HBM 병목에 매달리지만, 장기적으로는 “최고급 칩 부족”보다 “이종 칩을 묶어 쓰는 소프트웨어 능력”이 더 큰 알파일 수 있다.
6. 그는 데이터센터도 훈련용 대형 클러스터에서 추론용 분산형 소형센터로 이동할 거라고 본다; 100MW, 1GW급보다 1MW급이 훨씬 구하기 쉬우며, 추론은 장애를 감내할 수 있어 95% uptime도 경제성만 맞으면 쓸 수 있다는 발상이다.
7. 전력 쪽에선 더 급진적이다: 태양광·풍력의 간헐성은 기존 데이터센터엔 치명적이지만, 백그라운드 에이전트엔 “싸면 감수 가능한 다운타임”이어서 버려지던 전력의 수요처가 될 수 있다.
8. 모델 측면에선 인터넷 데이터는 이미 거의 다 먹었고, 앞으로는 RL 환경과 검증 가능한 태스크가 핵심 데이터 소스라고 본다; 코딩, 수학, 사이버보안처럼 self-grading이 되는 영역이 특히 유리하다.
9. 사이버보안은 흥미로운 직접 사례다: “보안은 proof of work가 됐다”는 말처럼, 얼마나 많은 에이전트를 돌려 소프트웨어를 깨보느냐가 품질을 결정하고, 작은 모델과 큰 모델이 서로 다른 버그를 찾아내는 jagged frontier도 관찰된다고 한다.
10. 칩 설계 관점에선 HBM 부족이 가장 큰 병목 중 하나라며, 향후 새 컴퓨트 스타트업은 Nvidia를 정면 돌파하기보다 HBM 의존도를 낮추거나 flash/offload 같은 우회 설계를 노려야 한다는 힌트를 준다.
11. 흥미로운 비주류 견해도 있다: TSMC 지정학 리스크는 시장이 과장하고 있으며, Intel 등 서방 공정도 생각만큼 뒤처지지 않았고 성능/전력 차이도 “세상이 끝날 정도”는 아니라는 시각이다.
12. 오픈 vs 클로즈드에선, OpenAI/Anthropic의 3~6개월 리드는 유효하지만 영구적 해자는 아니며, AI 생성물이 인터넷에 누적되는 한 distillation과 오픈소스의 추격은 구조적으로 막기 어렵다고 본다.
트레이더/투자자 관점
• 내러티브: AI 투자 프레임이 “누가 가장 큰 클러스터를 짓나”에서 “누가 가장 싼 추론을 공급하나”로 이동하면, Nvidia 단일 독주보다 AMD·메모리 대체·전력 인프라·분산 데이터센터·에이전트 소프트웨어가 재평가될 수 있다.
• 가격/포지셔닝: 단기적으로 Nvidia/HBM scarcity는 여전히 강하지만, 중기엔 비주류 칩과 저품질 전력/소형 DC를 활용하는 업체들이 멀티플 디스카운트를 줄일 수 있고, 반대로 “최고급 GPU만 정답”이라는 포지션은 과밀해질 수 있다.
• 체크포인트: 백그라운드 에이전트 사용 비중 증가, 장시간 추론 워크로드 확산, AMD/TPU/Trainium 채택 사례, HBM 병목 완화 여부, 1MW급 분산 DC 계약 증가, 태양광·풍력 연계 AI 추론 사례, 오픈소스 모델의 frontier 추격 속도를 봐야 한다.