AI가 만들어내는 지능은 순수한 소프트웨어가 아니라 칩, 메모리, 네트워크, 전력, 냉각, 데이터센터가 결합된 물리적 생산물이다. 따라서 가장 희소한 자원 한 단위를 더 많은 유용한 AI 작업으로 바꾸는 회사가 가치를 가져간다.
1. AI가 더 많은 일을 하려면 물리적으로 무엇이 필요한가?
AI 작업량
= 칩 연산 × 메모리 × 네트워크 × 전력 × 냉각 × 시설 × 시스템 소프트웨어
이 요소들은 곱셈 관계에 가깝다. 하나라도 부족하면 다른 자원이 풍부해도 전체 시스템은 제대로 작동하지 않는다.
실제 AI 처리량
≈ GPU, 메모리, 네트워크, 전력, 냉각, 시설 중 가장 부족한 요소
AI 경쟁의 병목이 모델 성능에서 모델 아래의 물리적 시스템으로 이동하고 있다는 것이다.
2. AI 연산 수요는 무엇으로 결정되는가?
총 연산 수요
= 사용자 수 × 사용자당 작업 수 × 작업당 토큰 × 토큰당 연산량
영상은 이 네 가지가 동시에 증가한다고 본다.
• 사용자 수 증가
AI 사용자가 개발자에서 일반 지식노동자, 기업 백오피스, 소비자, 로봇으로 확장된다.
• 사용자당 작업 수 증가
질문 한 번에서 끝나는 것이 아니라 이메일 관리, 일정 조정, 코딩, 데이터 분석, 컴퓨터 조작 등 전체 업무 흐름을 맡기게 된다.
• 작업당 토큰 증가
챗봇보다 추론 모델이 더 많은 토큰을 사용하고, 장시간 작동하는 에이전트와 다중 에이전트는 그보다 훨씬 많은 토큰을 사용한다.
• AI가 다시 AI를 사용
AI가 코드, GPU 커널, 학습 데이터와 다음 AI 시스템을 만드는 데 사용된다.
AI 성능 향상
→ 가능한 작업 증가
→ 사용자와 업무 증가
→ 토큰·연산 수요 증가
→ 더 많은 인프라 투자
→ 다시 AI 성능 향상
3. 효율이 좋아져도 인프라 수요가 줄지 않는 이유
연산 비용이 낮아지면 기존 업무를 더 싸게 처리할 수 있다. 동시에 이전에는 경제성이 없었던 새로운 AI 업무들이 가능해진다.
총 연산량
= 작업당 연산량 ÷ 효율 × 전체 작업 수
효율이 개선되는 속도보다 전체 작업 수가 늘어나는 속도가 더 빠르면 총 연산 수요는 계속 커진다.
사실상 무한한 수요는 확정된 사실이 아니라 이 효과가 장기간 지속될 것이라는 투자 가설이다.
4. 공급이 수요를 바로 따라가지 못하는 이유
소프트웨어 수요는 몇 달 만에 몇 배로 증가할 수 있지만 물리적 인프라는 그렇게 빨리 만들 수 없다.
• 반도체 개발과 증설에는 수년이 걸린다.
• 메모리 생산능력을 빠르게 늘리기 어렵다.
• 데이터센터에는 부지, 인허가, 전력 연결과 건설 인력이 필요하다.
• 변압기, 터빈, 냉각설비 등의 공급도 제한돼 있다.
• 전력망 증설은 데이터센터 건설보다 오래 걸릴 수 있다.
• 장비 설치와 운영을 담당할 숙련 인력이 부족하다.
수요 증가 속도 ≫ 물리적 공급 증가 속도
5. 기존 데이터센터를 더 많이 짓는 것만으로는 부족하다
기존 컴퓨팅 인프라는 AI를 중심으로 설계되지 않았다.
AI 추론의 특성
• 대량의 행렬 연산
• 높은 메모리 용량과 대역폭
• 칩 사이의 빈번한 데이터 이동
• 높은 전력밀도
• 연산과 함께 지속적으로 생성되는 토큰
• 많은 가속기를 하나의 시스템처럼 연결해야 하는 구조
따라서 다음 요소들을 함께 설계해야 한다.
• 연산 칩
• 메모리 계층
• 칩 간 인터커넥트
• 네트워크
• 전력 변환과 공급
• 액체 냉각
• 랙과 건물 구조
• 클러스터 관리 소프트웨어
이것이 영상에서 말하는 AI-native infrastructure다.
6. 인프라 회사의 경제적 가치는 무엇인가?
AI 사업 이익
= AI 작업이 만든 가치 - 연산·전력·인프라 비용
같은 작업을 더 적은 비용과 전력으로 처리하게 해주는 회사는 AI 기업의 마진을 직접 개선한다.
핵심 성능지표
• 달러당 유용한 토큰
• 와트당 유용한 토큰
• 랙당 유용한 토큰
• 데이터센터 면적당 처리량
• 성공한 작업당 총비용
유용한 AI 생산성
= 성공적으로 완료된 업무 ÷ 자본비용·전력·운영비·시간
빠르게 토큰을 생성하더라도 결과가 틀리거나 업무를 완료하지 못하면 경제적 가치는 낮다. 따라서 가장 빠른 칩보다 전체 업무 완료 비용을 가장 크게 낮추는 시스템이 더 가치 있을 수 있다.
7. 전용 칩은 언제 경제성이 생기는가?
영상의 사고실험은 다음과 같다.
어떤 모델이 연간 100억 달러 규모의 추론을 수행하고, 전용 ASIC이 비용을 20% 절감한다면 잠재적인 절감 가치는 20억 달러다.
100억 달러 × 20% = 20억 달러
전용 칩 개발에 수억 달러가 들어가더라도 경제성이 생길 수 있다는 계산이다.
다만 다음 조건이 필요하다.
• 워크로드가 충분히 크고 안정적이어야 한다.
• 모델 구조가 칩 개발기간 동안 급격히 바뀌지 않아야 한다.
• 효율 개선액이 설계·제조·소프트웨어 비용보다 커야 한다.
• 범용 GPU의 유연성보다 전용화의 이익이 커야 한다.
8. 엔비디아가 강해도 스타트업 기회가 남는 이유
• 거대 기업은 가장 큰 공통 수요를 최적화한다.
엔비디아와 하이퍼스케일러는 규모가 큰 범용 워크로드에 집중할 가능성이 높다.
• AI 워크로드는 세분화된다.
학습, 실시간 추론, 저전력 엣지 추론, 장시간 에이전트, 로봇, 과학 연산의 요구조건은 서로 다르다.
• 거대한 시장에서는 작은 틈새도 큰 회사가 될 수 있다.
전체 시장이 충분히 크다면 1%의 세부 시장도 대형 기업을 만들 수 있다.
• 병목 하나하나에 서로 다른 전문성이 필요하다.
메모리, 광통신, 전력반도체, 냉각, 운영 소프트웨어, 건설 자동화를 한 기업이 전부 해결하기는 어렵다.
기회는 엔비디아와 정면으로 경쟁하는 GPU에만 있지 않다. GPU가 더 많은 일을 하게 만드는 주변 시스템 전체가 투자 영역이다.
9. 에이전트 = 모델 + 메모리 + 도구 + 컴퓨터 접근권한 + 반복 실행
에이전트가 독립된 컴퓨터, 브라우저, 계정과 권한을 갖추면 일정 관리, 이메일 분류, 구매, 문서 작성 같은 업무를 인간 직원과 유사하게 수행할 수 있다.
하지만 에이전트는 다음 문제를 만들 수 있다.
• 불필요한 토큰 소비
• 정보 망각과 환각
• 잘못된 행동 실행
• 계정과 데이터의 보안 위험
• 인간과 에이전트 사이의 불명확한 승인 경계
에이전트 순가치
= 생산성 증가 - 연산비용·오류비용·감독비용·보안위험
따라서 중요한 것은 에이전트를 많이 도입하는 것이 아니라 순가치를 플러스로 만드는 운영체계다.
10. 하드웨어 창업자에게 경험이 중요한 이유
하드웨어 사업은 다음 전체 과정을 통과해야 한다.
연구
→ 설계
→ 시제품
→ 제조
→ 수율 확보
→ 공급망
→ 고객 시스템 통합
좋은 기술만으로는 부족하다.
• 실제 제조가 가능한가?
• 충분한 수율이 나오는가?
• 부품을 안정적으로 확보할 수 있는가?
• 고객 시스템에 통합할 수 있는가?
• 긴 개발기간을 버틸 자본이 있는가?
경험 많은 창업자가 유리하지만 나이가 필수조건은 아니다. 부족한 제조·공급망 경험을 숙련된 인력과 파트너로 보완할 수 있으면 된다.
11. 투자 논리
투자 기회
= 병목을 제거해 만들어지는 경제적 가치 - 해결 비용과 실행 위험
좋은 AI 인프라 사업이 답해야 할 질문
1) 현재 전체 처리량을 가장 강하게 제한하는 병목은 무엇인가?
2) 고객은 그 병목 때문에 실제로 얼마를 잃고 있는가?
3) 해결책이 달러·와트·시간당 생산성을 얼마나 개선하는가?
4) 그 개선폭을 실제 고객 환경에서 측정할 수 있는가?
5) 제품이 완성될 때도 그 병목이 남아 있을 것인가?
6) 제조, 공급망, 인허가까지 포함해 실제로 공급할 수 있는가?
7) 대기업이 같은 문제를 내부적으로 해결하기 어려운 이유는 무엇인가?
12. 이 투자 논리가 성립하기 위한 가정
영상은 신규 투자 펀드의 논리를 설명하는 콘텐츠이므로 다음 가정들을 낙관적으로 본다.