컴퓨트 다이(compute die)의 실리콘 면적(real estate)은 매우 비싸고 귀중합니다. 그런데 놀랍게도 그중 상당한 부분이 단순히 메모리와 통신하기 위한 인터페이스에 사용되고 있습니다. 당사 추정에 따르면 NVIDIA Rubin 컴퓨트 다이에서 HBM4 컨트롤러와 PHY가 차지하는 면적은 약 16%에 달합니다. 즉, 최첨단 공정의 비싼 실리콘 중 상당 부분이 실제 연산을 수행하는 대신 메모리와 통신하는 데 쓰이고 있다는 의미입니다.
Custom HBM은 바로 이 문제를 직접 해결합니다.
첫째, 기존의 넓은 표준 PHY를 더 작은 면적의 Die-to-Die(D2D) 인터페이스로 대체합니다. 삼성전자에 따르면 표준 HBM4 PHY의 면적은 8mm × 4mm인 반면, Custom HBM에 사용하는 D2D 인터페이스는 8.5mm × 1.5mm에 불과합니다. 면적으로 계산하면 약 60%가량 감소하는 셈입니다.
또한 개선된 D2D 인터페이스는 인터페이스 면적당 더 높은 대역폭을 제공하며, 인터포저(interposer) 내부의 배선 설계도 단순화할 수 있습니다.
둘째, 메모리 컨트롤러를 컴퓨트 다이에서 완전히 제거해 HBM의 Base Die로 이동시킬 수 있습니다. PHY 면적 축소와 메모리 컨트롤러 이전을 함께 적용하면 컴퓨트 다이에서 상당한 면적을 확보할 수 있으며, 이 공간을 다시 연산 유닛(compute)이나 캐시(cache)에 사용할 수 있습니다.
그리고 HBM의 Base Die가 첨단 로직 공정(advanced logic process)으로 제조되기 시작하면, 단순히 신호를 전달하는 역할을 넘어 훨씬 다양한 기능을 수행할 수 있습니다.
삼성전자는 Custom HBM 컨트롤러를 통해 SRAM 복구(repair) 리소스, 모니터링 기능, 외부 메모리와의 연결, 나아가 DRAM 바로 아래에서 일부 연산을 수행하는 기능까지 구현할 수 있다고 설명합니다.
즉, Custom HBM은 단순히 HBM의 대역폭을 높이는 기술이 아니라, 컴퓨트 다이에서 메모리 인터페이스가 차지하던 면적을 줄이고 그 기능을 HBM Base Die로 이전함으로써 전체 AI 가속기의 구조 자체를 변화시키는 기술이라고 볼 수 있습니다.
https://x.com/semianalysis_/status/2105771525605351710?s=46