핵심 시사점은 다음과 같습니다.
1. 메모리 월(Memory Wall)이 현재 AI의 핵심 병목이며, 이는 지난 8월 Hot Chips에서 나타난 흐름이 이어지는 것입니다.
2. 메모리 월 문제를 해결하기 위해 메모리와 스토리지가 기능별로 특화된 메모리 계층과 랙으로 점차 분리되고 있습니다.
3. 효율성이 새로운 스케일링 법칙으로 부상하고 있습니다. 이에 따라 에이전틱 AI에서 초점이 단순 FLOPs에서 토큰당 전력소비(W/token) 또는 달러당 처리 토큰(tokens/$)으로 이동하고 있습니다.
4. AI 스케일링 생태계는 선택적 커스터마이징을 허용하면서 점점 더 개방적으로 변화하고 있습니다. 개방성을 바탕으로 스케일아웃에서는 Ethernet이 승리했으며, 스케일업 역시 UALink, ESUN, NVLink Fusion 등을 통해 점차 개방되고 있습니다. 동시에 실리콘은 더욱 고객 맞춤형으로 변화하고 있습니다. 대표적인 사례가 Marvell의 XPU Attach입니다.
5. 이제는 제품 양산 전환 속도, 랙의 신뢰성, 소프트웨어와 하드웨어의 공동설계가 반도체 설계 자체만큼 중요해지고 있습니다.
⸻
메모리 월: 메모리·스토리지의 분리
메모리 월은 AI의 핵심 병목입니다. 트랜스포머 모델의 크기는 약 2년마다 20배씩 커지는 반면, 메모리의 대역폭과 용량은 약 2년마다 2배 증가하는 데 그치고 있습니다.
이 문제를 해결하기 위해 업계는 기존의 GPU 중심 설계를 넘어, 메모리 기능을 분리하고 용도별로 특화한 솔루션으로 이동하고 있습니다.
Qualcomm의 HBC는 LPDDR을 컴퓨트 다이 위에 직접 적층하는 기술입니다. 이를 통해 SRAM 대비 와트당 용량은 약 200배, HBM 대비 와트당 대역폭은 약 6배 높은 성능을 제공합니다.
삼성전자의 zHBM 역시 이와 유사한 3D DRAM 접근방식을 채택하고 있습니다.
SK하이닉스는 용도별로 설계된 다음과 같은 메모리 계층을 강조했습니다.
1. PIM: 메모리 병목이 큰 워크로드를 위한 초고대역폭 메모리
• SRAM 대비 랙당 용량 약 288배
2. HBF: 긴 컨텍스트 처리를 위한 대용량 메모리
• HBM 대비 약 10배의 용량
3. SALT-KV 소프트웨어: 온도 인식형 KV Cache 배치를 지원하는 소프트웨어
• KV Cache의 사용 빈도와 중요도에 따라 서로 다른 메모리 계층에 배치
중요한 점은 이제 업계의 초점이 단순한 FLOPs나 절대 성능이 아니라, 에이전틱 AI를 얼마나 효율적으로 처리할 수 있는가로 이동하고 있다는 것입니다. 그 결과 메모리의 종류가 다양해지고, 메모리와 컴퓨팅 자원이 서로 분리되는 흐름이 강화되고 있습니다.
⸻
AI 트렌드: 상호운용성과 개방성이 높아지는 동시에 커스터마이징도 확대
AI 스케일링에서는 개방성과 맞춤화가 동시에 강조되고 있습니다.
Ethernet은 뛰어난 상호운용성과 개방성을 바탕으로 스케일아웃 시장에서 사실상 승리했습니다. Broadcom은 이러한 Ethernet 기술을 AI 시스템의 모든 계층으로 확대하고 있습니다.
1. 스케일아웃
• Tomahawk 6
• 102.4Tbps
• 이미 HVM, 즉 대량생산 단계에 진입했으며 하이퍼스케일러 환경에서 실제 가동 중
2. 스케일업
• Thor Ultra NIC
• ESUN
3. Scale-across
• Jericho 4
이 모든 제품은 수직계열화가 아닌 개방형 아키텍처를 기반으로 합니다.
한편 Astera Labs는 범용 PCIe 프로토콜을 활용해, 목적별로 설계된 전용 실리콘을 통해 연결성과 메모리 문제를 해결하고 있습니다.
대표 제품으로는 다음이 있습니다.
• Scorpio
• Leo
• 기타 연결 및 메모리 관련 전용 반도체
Marvell은 맞춤형 스케일업 솔루션인 XPU Attach를 중심으로, 광통신 제품군과 멀티프로토콜 지원을 결합한 단일 창구 형태의 엔드투엔드 포트폴리오를 제공합니다.
지원 프로토콜에는 다음이 포함됩니다.
• UAL
• NVLink Fusion
• ESUN