Hot Chips 2026 컨퍼런스 참관 결과, 다년간에 걸친 AI 인프라 구축에 대해 한층 더 긍정적인 견해를 갖게 되었으며, 그 배경에는 에이전틱 AI가 견인하는 추론 워크로드가 업계 전반의 칩 아키텍처를 재편하고 있다는 점이 있습니다. 훈련 최적화 설계가 여전히 중심이었던 2025년 행사와 달리, 올해는 참석한 모든 세션이 에이전틱 AI를 설계상의 필수 과제로 내세우며 시작되었다는 점이 두드러진 변화였습니다. 주요 테마는 다섯 가지로 정리됩니다. 첫째, 디코드 중심 워크로드와 KV 캐시 관리, 롱 컨텍스트 처리, 저지연 멀티칩 실행이 1차적 설계 제약으로 부상하며 실리콘 설계가 근본적으로 바뀌고 있습니다. 둘째, 성능과 경제성이 빠르게 개선되면서 커스텀 실리콘 확산이 이어지고 있으며 OpenAI의 Jalapeño ASIC이 이를 대표했습니다. 셋째, AMD는 Instinct MI400 시리즈와 Helios 랙 솔루션의 상세 공개를 통해 엔비디아 Vera Rubin에 대한 2026년 하반기/2027년 대응책의 신뢰성을 강화했습니다. 넷째, 엔비디아가 BlueField-4로 “스케일인” 계층을 도입하고 브로드컴이 Enhanced RoCE 기반 Thor Ultra를 소개하면서 네트워킹 분류 체계가 확장되고 있습니다. 다섯째, 발표된 모든 주요 로드맵이 HBM3E/4/4E에 의존해 HBM이 여전히 AI 실리콘 공급의 병목으로 남아 있으며 메모리 타이트 국면 장기화 전망을 뒷받침합니다. 다소 과소평가된 관통 테마로는 구글 TPU, OpenAI Jalapeño, 메타 MTIA, SambaNova RDU, 그리고 스케일업·스케일아웃 이더넷 확산에 이르기까지 브로드컴이 광범위하게 관여하고 있다는 점이 지적되며, 이는 AI 컴퓨트 실리콘과 인프라 네트워킹 양쪽에 걸친 AVGO의 이중 역할 확대를 뒷받침합니다. 종합적으로 AI는 반도체 수요의 지속적 동인이며, AVGO, NVDA, AMD, MRVL, MTSI, ALAB, MU, SNDK가 주요 수혜주로 제시되었습니다.
추론 아키텍처 전환과 관련해, 컨텍스트 길이가 늘어나는 에이전틱 멀티턴 워크로드와 MoE 구조에서 추론은 연산 FLOPS가 아닌 메모리 대역폭 제약형이자 디코드 중심이라는 인식이 공유되었습니다. SambaNova는 프런티어 모델 전반에서 연산 사이클의 75~97%가 디코드 중심이며 처리량의 제약 조건은 최대 FLOPS가 아니라 메모리 대역폭 활용률이라고 정량적으로 제시했고, 구글은 TPU v8i에 MoE 추론 지연 대응을 위해 온칩 SRAM을 대폭 확대했으며, 인텔 Crescent Island는 HBM 대신 LPDDR5x를 채택해 추론이 대역폭보다 용량에 민감하다는 인식을 반영했습니다. OpenAI 역시 지연 시간과 요청당 에너지, 파레토 프런티어 위치로 성능을 규정했습니다. 이에 따라 칩 사이클은 훈련 최적화 실리콘과 추론 최적화 실리콘으로 점차 양분될 전망이며, 이는 훈련 중심이던 이전 사이클보다 폭넓은 생태계에 수혜가 돌아가는 긍정적 흐름으로 평가됩니다.
커스텀 실리콘 영역에서는 OpenAI가 브로드컴과 협력해 설계한 첫 내부 칩 Jalapeño를 공개하며 초기 RTL부터 테이프아웃까지 약 9개월이라는 개발 속도와 내부 실리콘 개발 의지를 강조했고, 후속 프로그램이 빠른 주기로 이어질 것으로 예상됩니다. 여기에 구글 TPU(AVGO가 v8/9/10/11 주요 설계 파트너), 메타 MTIA(AVGO 협력), 마이크로소프트 MAIA(MRVL이 핵심 파트너), SambaNova SN50 RDU, 인텔 Crescent Island가 가세했습니다. 다만 OpenAI가 2030년까지 누적 약 12GW의 NVDA 인프라 배치를 공약했고 하이퍼스케일러들도 자체 프로그램과 병행해 NVDA GPU를 계속 구매하는 만큼, 커스텀 실리콘과 상용 GPU는 대체재가 아닌 보완재로 공존할 전망입니다. 그럼에도 앤트로픽을 포함한 AI 랩과 하이퍼스케일러의 커스텀 XPU 인프라 확대로, 현재 85% 이상인 상용 GPU의 AI 가속기 TAM 점유율은 향후 수년에 걸쳐 커스텀 XPU/ASIC과 대등한 수준으로 수렴해 갈 것으로 봅니다.
AMD의 Helios 레퍼런스 아키텍처는 랙당 72개 GPU에서 2.9엑사플롭스 연산 성능과 31TB HBM4를 제공해 NVDA VR과 동일한 구성으로 풀 시스템 대안이 되며, MI455X는 연산 칩렛 N2·I/O 및 캐시 다이 N3P의 모듈형 칩렛 구조와 크게 향상된 HBM4 용량·대역폭으로 MoE 추론과 롱 컨텍스트 워크로드에 경쟁력 있는 메모리 프로파일을 갖췄습니다. 스케일업 패브릭으로 UALink 128을 채택해 NVLink의 개방형 표준 대안을 제시했고, Pensando Vulcano 800 AI NIC과 Salina 400 DPU를 통합해 엔비디아식 수직 통합 스택을 구성했습니다. 매력적인 TCO와 ROCm 기반의 손쉬운 배포를 감안할 때, 수요 성장이 집중된 추론 영역에서 낮은 기저로부터 점유율을 확보할 것이라는 논지가 강화되었습니다.
네트워킹에서는 엔비디아가 BlueField-4를 통해 기존 스케일업(NVLink)과 스케일아웃(Spectrum-X) 사이에 위치하며 GPU 워크로드를 스토리지·CPU·오케스트레이션·보안 등 주변 인프라에 연결하는 “스케일인 네트워크”라는 새 범주를 제시해 풀스택 네트워킹 플랫폼 사업자로서의 위상을 강화했습니다. 브로드컴의 Thor Ultra 800G 이더넷 NIC는 eRoCE 기능으로 이더넷 상의 신뢰성·혼잡 제어·멀티패싱 문제를 해결하며 인피니밴드의 유력한 대안으로 자리매김해, AI 네트워킹의 이더넷 이동 흐름을 뒷받침합니다. AI 네트워킹은 빠르게 확장되는 TAM이며 AVGO와 NVDA가 수직 통합으로 앞서 나가는 가운데, MRVL, ALAB, MTSI 등 광범위한 네트워킹 실리콘 생태계도 수혜를 볼 것으로 판단됩니다.
인텔은 차세대 제온 Diamond Rapids와 에이전틱 추론용 GPU Crescent Island를 통해 하이퍼스케일러 CPU 및 AI 분야에 대한 의지를 재확인했습니다. DMR은 3D 메시 아키텍처와 2.5D·3D 분해, 기능 기반 파티셔닝을 채택했고, 순수 연산 성능이 아닌 하이퍼스케일 환경에서의 데이터 이동·보안·오케스트레이션 중심으로 전략이 이동했음을 시사합니다. Crescent Island는 480GB LPDDR5x 메모리와 350W TDP, 온칩 MoE 스펙큘레이티브 디코딩 가속을 갖춰 추론에 특화되었습니다. 두 제품 모두 아키텍처 진전을 보여주지만, 최종적인 경쟁 영향은 2027년으로 향하는 실행력과 고객 확약 신호에 달려 있으며, 적어도 DMR은 타이트한 서버 CPU 수급을 감안할 때 강한 수요가 예상됩니다.
*클로드로 요약함.