Citi는 캘리포니아 산타클라라에서 열린 AI 인프라 서밋 2일차에 참석해 네트워킹 관련 시사점을 중심으로 정리했습니다. AI 워크로드가 추론 집약적이고 긴 컨텍스트를 요구하는 방향으로 진화함에 따라, 인프라 확장은 단순한 컴퓨트 증설만이 아니라 메모리 계층 구조, HBM, 시스템 아키텍처, 네트워킹 패브릭 전반의 혁신에 좌우될 것이라는 것이 Citi의 핵심 판단입니다.
브로드컴의 하산 시라지 제품관리 부사장은 대규모 AI 인프라에서 이더넷이 선호되는 인터커넥트로 자리 잡고 있으며, 자사의 Tomahawk과 Jericho 제품군이 그 배치의 네트워킹 기반이 되고 있다고 주장했습니다. 브로드컴은 NIC, 스위치, 소프트웨어를 아우르는 완결된 이더넷 AI 네트워킹 포트폴리오를 갖추고 있으며, Tomahawk 로드맵은 세대마다 대역폭을 꾸준히 두 배로 늘려 Tomahawk 6에서 102.4Tbps에 도달함으로써 더 큰 AI 클러스터 구성을 가능하게 했습니다. 브로드컴은 이러한 효율 개선이 전력, 냉각, 인프라 비용 절감으로 이어져 대안 대비 5년 총소유비용(TCO)을 30% 이상 낮춘다고 설명했으며, 발표 자료에서는 대안 시스템이 Tomahawk 5 시스템보다 48% 더 많은 전력을 소비한다고 제시했습니다.
마벨의 데이브 라조프스키 데이터센터 네트워킹 그룹 총괄은 향후 AI 인프라 확장이 컴퓨트 증가뿐 아니라 메모리 계층, 고대역폭 메모리, 시스템 아키텍처, 네트워킹 패브릭의 혁신에 점점 더 의존하게 될 것이라고 강조했습니다. 핵심 과제는 추론에 필요한 컨텍스트 정보를 저장하는 KV 캐시의 급격한 증가입니다. 컨텍스트 윈도우가 확장되면 KV 데이터가 HBM 같은 고속 메모리 용량을 초과하게 되고, 시스템은 느린 메모리 계층에서 데이터를 다시 불러오거나 컨텍스트를 재계산해야 하므로 지연시간과 메모리 트래픽, 전력 소비가 늘고 전체 시스템 효율이 떨어진다는 설명입니다.
삼성전자의 김인동 DRAM 제품기획 및 사업화 부사장은 AI가 생성형 AI에서 에이전틱 AI를 거쳐 디지털 트윈, 휴머노이드 로봇, 자율주행차 같은 피지컬 AI로 진화하고 있으며, 이 전환이 학습 인프라 수요를 약 3배, 추론 수요를 약 100배 끌어올려 메모리, 스토리지, 전력 효율, 발열 관리의 중요성이 갈수록 커진다고 밝혔습니다. HBM 성능은 세대마다 약 2배씩 개선되어 왔으며, HBM4E는 GPU당 16TB/s 대역폭과 HBM4 대비 20% 높은 와트당 성능, 10% 낮은 열저항을 제공하고, HBM5는 HBM4E 대비 2배 성능과 20% 개선된 와트당 성능, 20% 낮은 열저항을 목표로 합니다. 삼성은 기존 HBM을 넘어서는 단계적 도약으로 zHBM을 제시했는데, HBM5 대비 GPU당 성능은 4~8배, 와트당 성능은 3배 높고 열저항은 75~90% 낮은 수준(0.1~0.25배)이라고 소개했습니다. 아울러 TSV 적층을 활용한 SLC 기반 NAND 기술인 Z-NAND도 논의했는데, 읽기 성능은 LPDDR5 DRAM에 필적하면서 용량은 훨씬 크고 비트 밀도는 DRAM의 10배에 달하며 2028년 샘플링이 예정되어 있습니다. 삼성은 Z-NAND를 AI 시스템에서 DRAM과 NAND 사이의 간극을 메울 고대역폭 플래시 메모리로 가는 첫걸음으로 보고 있습니다.
AWS의 피터 드산티스 파운데이션 AI 모델·커스텀 실리콘·양자컴퓨팅 담당 수석부사장은 AWS의 인프라 전략이 하드웨어 전문화 심화에 의해 추진되어 왔다고 설명했습니다. 클라우드 가상화에서 더 깊은 커스터마이징이 필요하다는 판단 아래 2015년 안나푸르나 랩스를 인수해 실리콘 로드맵의 토대를 마련했고, 이는 2018년 클라우드 워크로드에 최적화된 범용 프로세서 Graviton 출시로 이어졌습니다. 이후 첫 주요 AI 가속기인 Inferentia를 시작으로 하드웨어 전략이 본격적으로 전환되어 Trainium 세대를 거듭해 왔으며, 현재 Trainium 4에 대한 기대가 크다고 언급했습니다. Trainium의 핵심 차별점은 달러당 메모리 대역폭이 우수하다는 점으로, 이는 AI 학습 경제성과 토큰 효율에 결정적입니다. AWS는 실리콘에서 소프트웨어, Rainier 클러스터 같은 대규모 배치에 이르는 전체 스택에서 혁신함으로써 칩 제조에서 실제 AI 워크로드 투입까지의 시간을 단축하는 데 집중하고 있으며, AI 수요가 확대되는 가운데 테스트 용량과 생산 용량의 균형을 강조했습니다. 아키텍처 측면에서 Trainium은 시스톨릭 어레이 설계에 강력한 소프트웨어 통합을 결합해, 개발자가 네이티브 PyTorch 지원을 활용하고 허깅페이스 같은 생태계의 다양한 모델을 최소한의 노력으로 구동할 수 있도록 했습니다.