최근 빅테크 실적발표를 보면서 한 가지 흐름이 분명해지고 있다고 본다.
지난 2년간 AI 인프라는 사실상 엔비디아 GPU였다. 학습이 연산 수요의 중심이었고, GPU의 범용 병렬 연산이 그 자리를 독점했다. 그러나 2026년 들어 두 가지 변화가 이 전제를 흔들고 있다. 첫째, 추론이 학습을 압도하기 시작했다. 추론은 GPU의 범용성이 오히려 비효율로 작용하는 영역이고, ASIC은 좁은 연산을 극단적으로 잘 처리하도록 설계되어 같은 작업을 더 적은 전력과 비용으로 처리한다. AWS는 Trainium2가 동급 GPU 인스턴스 대비 30~40% 나은 가격 성능을 제공한다고 밝혔다. 둘째, 에이전트의 부상이 CPU의 비중을 본질적으로 키우고 있다. 에이전트가 다른 에이전트를 호출하며 24시간 작동하는 환경에서는 토큰 생성보다 스케줄링·오케스트레이션·서비스 관리가 핵심 워크로드가 되고, 이 영역은 모두 CPU의 몫이다. Arm CEO 르네 하스는 에이전틱 AI 환경에서 CPU 수요가 4배 증가할 것이라고 전망했다.
이 변화에 대한 하이퍼스케일러들의 대응이 실적발표와 컨퍼런스를 통해 동시다발적으로 드러났다. Google은 4월 Cloud Next 2026에서 TPU 8세대를 학습용 8t와 추론용 8i 두 SKU로 분리해 발표했고, 둘 다 자체 Arm 기반 CPU인 Axion 위에서 동작하도록 설계했다. 추론용 8i는 이전 세대 대비 약 80% 나은 가격 성능을 표방한다. AWS는 3나노 공정의 Trainium3를 출시했고, Anthropic은 AWS와 100조 원 규모, 5GW Trainium 계약을 체결하면서 동시에 Google과 100만 개 TPU 확보 계약도 진행했다. OpenAI도 Broadcom과 자체 ASIC 공동개발에 착수했고, Microsoft Maia, Meta MTIA도 같은 궤도에 있다. 학습은 GPU, 추론은 ASIC, 오케스트레이션은 CPU로 워크로드별 칩이 분화되는 흐름이 명확해졌다.
AI 인프라의 기본 단위가 GPU 단독에서 CPU+ASIC 조합으로 재편되는 중이다. 의사결정의 질문도 달라져야 할 시점이다. "어떤 GPU를 얼마나 살 것인가"가 아니라, "어떤 워크로드를 어떤 스택 위에서 돌릴 것인가."