이 진단의 연장선에서 보면 흥미로운 게, 같은 문제의식이 한 칩 안에 머무르지 않고 칩과 칩 사이로 확장되면서 새로운 형태의 전용 칩으로 구체화되고 있다는 점입니다. Agentic 워크로드가 "지속적이고 빠른 통신"을 요구한다는 사실이 명확해지면서, 코어 간 통신뿐 아니라 chip-to-chip 통신 자체를 워크로드에 맞춰 다시 설계하는 흐름이 등장하고 있습니다.
Google TPU의 진화가 좋은 예시입니다. 7세대 Ironwood는 ICI(Inter-Chip Interconnect)를 9.6 Tb/s까지 끌어올려 9,216개 칩을 단일 fabric으로 묶었고, 이번 달 Cloud Next 2026에서 발표된 8세대는 아예 training용 TPU 8t와 inference용 TPU 8i로 칩을 분리했습니다. 특히 8i에는 collective communication을 가속하는 CAE(Collectives Acceleration Engine)가 들어갔는데, 본질은 all-to-all 같은 통신 패턴 가속이지만 Google은 이를 "수천 개의 작은 tool-use 호출이 latency를 지배하는" agentic 워크로드를 겨냥한 설계로 포지셔닝합니다.
흥미로운 건 AWS 본인들도 같은 방향으로 가고 있다는 점입니다. 작년 12월 출시된 Trainium3는 공식 소개에서 아예 "agentic, reasoning, video generation을 위한 차세대 token economics"를 내세웠고, NeuronLink와 NeuronSwitch로 최대 144개 칩을 mesh 구조로 묶어 chip-to-chip 통신을 강화했습니다. Anthropic이 Project Rainier에서 Trainium2를 100만 개 넘게 운용 중인 상황을 보면, Graviton(CPU) 이야기는 큰 그림의 한 축일 뿐이고 그 옆에 Trainium이라는 ASIC 축이 빠르게 자라고 있는 모양새입니다.
사실 chip-to-chip 통신을 먼저 본격화한 건 NVIDIA의 NVLink/ NVSwitch였고, 지금 일어나는 일은 TPU나 Trainium 같은 ASIC 진영이 자기 방식으로 그 길을 따라잡으면서 Graviton/Axion 같은 ARM 기반 CPU와 결합되는 흐름에 가깝습니다. AI 인프라의 근본적 전환이라는 표현이 단순한 수사가 아니라, NVIDIA가 먼저 정의한 게임의 규칙을 hyperscaler들이 자체 칩으로 다시 쓰고 있는 변화라는 게 더 분명해지는 것 같습니다.