지금이 하드웨어 구축의 황금기인 이유
1. AI 반도체 설계와 새로운 병목
인텔 486 개발 당시 하드웨어 기술언어(HDL), 자동 배치·배선, 타이밍 관리 등 현대 EDA의 기초를 구축했다고 회고.
AI는 논리회로 설계를 빠르게 자동화하지만, 아날로그 회로 설계에는 여전히 실제 실리콘 데이터와 전문 지식이 필요.
AI로 설계를 3개월 만에 마쳐도 반도체 제조, 첨단 패키징, 랙 시스템 구현까지 약 9개월이 추가로 필요.
상용화까지 1년~1년 반이 걸리면 설계 당시의 AI 워크로드가 달라질 수 있다고 지적.
제조 시간 단축, 새로운 노광 기술, 시제품용 마스크 비용 절감 등이 중요해질 전망.
2. HBM은 최선이지만 한계가 큰 메모리
"HBM은 우리가 가진 최고의 메모리지만, 형편없는 메모리다."
비트 밀도, 칩 주변부 대역폭, 소비전력, 발열에 한계가 있으며 DRAM은 고온에 취약.
전력·열 분포를 정밀하게 예측하지 못해 과도한 설계 여유분(가드밴드)을 두고 있으며, 이로 인해 전력 예산의 약 40%를 잃는 사례를 언급.
AI가 메모리 중심 워크로드가 되면서 메모리 대역폭·전력·열 관리가 핵심 병목이라고 강조.
3. 30년 만의 새로운 메모리 혁신
지난 약 30년간 DRAM·SRAM·플래시를 잇는 주요 신규 메모리 구조가 대규모로 정착하지 못했다고 평가. 인텔 옵테인도 실패 사례로 언급.
AI 수요와 메모리 산업의 자본 확대가 새로운 물리 구조·소재를 개발할 여건을 만들었다고 설명.
강유전체, 비커패시터 기반 고밀도 메모리, 메모리와 연산장치의 통합, 고밀도 적층 구조를 개발 방향으로 제시.
본인이 새로운 비공개 메모리 스타트업을 공동 설립했다고 공개. d-Matrix 등 메모리·연산 통합 기술도 언급.
메모리 산업의 시가총액이 지난 4년간 약 2.5조 달러 증가했다고 설명.
4. 메모리 적층과 차세대 패키징
8단·16단·32단 적층은 결함·수율 관리 난도가 급격히 높아진다고 설명.
메모리 적층은 2~4단 수준에서 제조·성능의 균형점을 찾을 가능성이 높다고 전망.
연산 칩렛과 메모리 외에도 전력 공급층, 재배선층(RDL), 광학 I/O 및 III-V족 소재 통합이 필요.
다이아몬드 등 방열 소재, 액체냉각, 전압 조절 기술도 중요해질 것으로 예상.
패키지 외부의 대형 메모리 풀을 광연결로 접근하는 방식은 광·전기 변환에 전력이 많이 든다고 지적. 메모리 내부 연산(PIM)에도 워크로드 제약을 이유로 회의적인 입장.
5. 구리에서 광통신으로: 2028~2029년
"25년 전 구리의 종말을 선언했다. 언젠가는 맞을 것이다."
대규모 AI 시스템에서 구리 배선이 짧아지고 비싸지면서, 특정 조건에서는 5m 구리 연결 비용이 100m 광연결보다 높아질 수 있다고 설명.
연산 코어와 가까운 메모리 연결보다는 외부 입출력(I/O)의 광전환을 지지.
대규모 GPU 클러스터의 스케일업 광연결 전환점으로 2028~2029년을 제시.
주요 과제는 레이저 공급능력, 광부품 대량생산, 패키징 통합, 열 관리이며, 1,000만 GPU 규모에서도 안정적으로 작동해야 한다고 강조.
6. 광스위칭과 AI 네트워크
AI 트래픽은 대규모이면서 예측 가능한 데이터 흐름이 많아 기존 패킷 라우팅과 특성이 다르다고 설명.
광회선스위칭(OCS) 등 광스위치 중심 구조가 확대될 것으로 예상.
장기적으로 스케일업과 스케일아웃의 경계가 약해질 수 있다고 전망.
7. AI 가속기 스타트업은 소수로 재편
100개에 가까운 AI 추론 가속기 설계가 경쟁하는 현재 상황은 일시적이라고 진단.
개발·양산과 랙 구축에 긴 시간이 걸리고, 데이터센터·전력·소프트웨어에 막대한 자본이 필요하므로 소수 플랫폼으로 수렴할 것으로 예상.
엔비디아·OpenAI·앤트로픽 등 주요 수요자의 하드웨어·소프트웨어 선택이 시장 재편에 영향을 줄 것이라고 설명.
추론과 훈련의 경계는 지속 학습으로 줄어들고, 3D·분자·화학 계산, 64비트 고정밀 연산 등 HPC형 수요가 늘어날 수 있다고 전망.
8. 데이터센터의 최대 제약: 전력
"AI 디지털 시대에는 에너지 공급능력이 곧 경제적 생산능력이다."
미국은 10~15년간 석탄발전 감소분을 재생에너지로 대체하며 전체 에너지 공급능력이 정체됐다고 평가.
최근 증가율도 연간 약 4%에 그치고, 가스터빈 조달에는 약 8년이 걸린다고 언급. 재생에너지 공급망의 중국 의존도도 지적.
"전력이 없다면 데이터센터를 짓고 GPU 100만 개를 사는 것이 무슨 의미가 있는가?"
전력 공급이 확보되지 않은 데이터센터 프로젝트의 계약 불이행·좌초 사례가 늘어날 수 있다고 경고.
9. 800V DC, GaN, 초전도 기술
원자력 발전 확대, 에너지 공급망 확충, 전력 전달 효율 개선이 필요하다고 강조.
데이터센터의 800V 직류(DC) 전환은 불필요한 전력 변환 단계를 줄이는 방법이라고 설명.
수직형 GaN 기반 800V→48V·12V·5V 단일 단계 변환, 고체변압기(SST), 전력 스위치 기술의 중요성을 언급.
냉각·터빈·냉매 혁신도 필요하다고 설명.
엔비디아 칩은 최근 5세대 동안 테라플롭당 전력 소비 개선이 정체됐다고 평가.
투자 중인 초전도 기업 Snowcap의 기술은 전력 효율을 근본적으로 개선할 잠재력이 있다고 소개.
10. AI 에이전트용 가상화
가상머신(VM)은 AI 에이전트를 지원하도록 재설계될 것이라고 전망.
에이전트 실행·보안·성능·이동·정책을 관리하는 새로운 가상화 계층이 필요하다고 설명.
사람은 정책·가드레일·대시보드를 통해 에이전트 시스템을 관리하게 될 것으로 예상.
https://youtu.be/1Q_7yU7FZ1k?si=WcXlr19dcKIwtLjK
https://x.com/DrNHJ/status/2108920520171479104?s=20