Day 1이 컴퓨트에 관한 것이었다면, Day 2는 근본적으로 연결성(connectivity)에 관한 것이었습니다. AI 1차 물결의 제약 요인은 컴퓨트였고 업계는 더 빠른 GPU와 더 큰 가속기, 더 많은 학습 용량 구축에 집중했지만, 이제 AI 시스템이 수조 개 파라미터, 초대형 컨텍스트 윈도우, 자율 에이전트 워크로드로 확장되면서 제약 요인은 점점 시스템 전반에 걸쳐 데이터를 효율적으로 이동시키는 능력, 즉 네트워킹으로 옮겨가고 있다는 것이 Citi의 판단입니다. 이는 엔비디아 네트워킹, 브로드컴, 아리스타, CPO(코패키지드 옵틱스) 업체인 루멘텀과 코히런트, 그리고 마벨, 아스테라 랩스 같은 CXL 생태계 기업들에 특히 긍정적인 전망을 만들어낸다고 봤습니다.
첫째, 네트워킹이 AI의 핵심 레이어가 되고 있습니다. 거의 모든 주요 발표가 같은 결론을 가리켰는데, 미래 AI 성능은 개별 칩보다 칩들이 얼마나 효과적으로 통신하는지에 의해 결정된다는 것입니다. 브로드컴의 Thor Ultra, 엔비디아의 BlueField-4 DPU와 Spectrum-X, 엔비디아 포토닉스, 메타의 MTIA 로드맵, 구글의 TPU 아키텍처, 세레브라스, 삼바노바, 삼성의 메모리 혁신, XCENA의 CXL 기반 프로세싱 모두 데이터 이동이 지배적 병목이 되고 있다는 동일한 과제의 각기 다른 부분을 다루고 있습니다. 미래 AI 승자는 가장 빠른 프로세서를 가진 기업이 아니라, 시스템 전체에서 데이터를 가장 효율적으로 이동시킬 수 있는 기업이라는 함의입니다.
둘째, 메모리는 사실상 네트워킹 스토리라는 점입니다. 업계의 '메모리 문제'는 실은 특화된 네트워킹 문제라는 것이 Day 2의 가장 중요한 인사이트 중 하나였습니다. 삼성의 LPDDR5X-PIM과 XCENA의 CXL-PNM 아키텍처는 모두 시스템을 가로질러 이동해야 하는 데이터의 양을 줄이려는 시도이며, 세레브라스는 극단적인 온칩 메모리 대역폭을 강조합니다. 공통 목표는 단순한 메모리 추가가 아니라 통신 오버헤드 감소이며, 로컬에 머무는 바이트는 점점 혼잡해지는 인터커넥트를 통과할 필요가 없는 바이트라는 관점에서 메모리 혁신은 네트워킹 혁신의 연장선이 됩니다.
셋째, AI 팩토리는 네트워크 중심 아키텍처입니다. 엔비디아는 미래 데이터센터를 전통적 클라우드 인프라가 아닌 AI 팩토리로 반복해서 규정했습니다. 전통적 데이터센터가 서버 중심으로 구축됐다면 AI 팩토리는 데이터 흐름 중심으로 구축되며, 컴퓨트, 메모리, 네트워킹, 스토리지, 보안이 단일 통합 시스템으로 작동해야 합니다. 전략적 함의는 가치 창출이 단일 칩에서 벗어나 전체 데이터 이동 스택을 최적화할 수 있는 공급자로 이동하고 있다는 점입니다.
넷째, 추론이 더 나은 네트워크 수요를 견인하고 있습니다. 여러 기업이 향후 성장은 모델 학습이 아닌 실행(추론)에서 나올 것이라고 강조했습니다. 엔비디아의 LPX는 저지연 배포와 롱컨텍스트 워크로드에 집중하며, Groq 3 LPX 랙은 초당 11,000 토큰을 생산해 추론 AI의 새로운 기준을 세웠고, LPX는 서드파티 벤치마킹에서 4배 빠른 롱컨텍스트 디코드를 제공합니다. 삼바노바는 에이전틱 추론이 점점 디코드 지배적이 되고 있다고 강조했습니다. 업계의 화두가 "모델을 얼마나 빨리 학습시킬 수 있는가"에서 "수십억 건의 AI 인터랙션을 얼마나 효율적으로 서빙할 수 있는가"로 이동했습니다.
다섯째, 커스텀 실리콘은 점점 네트워크 최적화 전략이 되고 있습니다. 메타의 MTIA 로드맵과 구글의 TPU v8은 커스텀 AI 실리콘으로의 가속화 추세를 보여줍니다. 이는 흔히 엔비디아에 대한 도전으로 해석되지만, 더 깊은 스토리는 하이퍼스케일러들이 자신들의 워크로드에 맞춰 인프라 스택 전체를 최적화하고 있다는 점입니다. 목표는 단순히 더 저렴한 컴퓨트가 아니라 시스템 레벨 병목의 축소입니다. 구글은 10여 년에 걸쳐 TPU 공유 메모리 시스템 성능을 100만 배 높였으며, TPU 8t 슈퍼팟은 총 9,600개 칩과 2PB의 공유 메모리를 갖추게 됩니다. 참고로 메타의 MTIA 400은 FP16 기준 3 PFLOPS로 MTIA 300 대비 약 5배의 컴퓨트, 1.3배의 HBM 용량(288GB), 1.5배의 HBM 대역폭(9.4TB/s)을 제공합니다.
출처: Citi Research, Atif Malik 외