<뇌>
* GPU = 뉴런 (계산)
* HBM = 기억 (단기·작업기억)
우리 몸은 뇌에서 만든 신호를 전신으로 전달해야 하는데, 그 역할을 신경과 혈관이 담당함.
<신경>
* 네트워크
* 광통신
GPU가 아무리 많아져도 서로 빠르게 소통하지 못하면 전체 성능은 제한됨.
<혈관>
* 전력 시스템
* 냉각 인프라
AI Factory 규모가 커질수록 계산 자체보다 전력 공급과 발열 관리가 더 중요해질 수 있음.
AI 인프라의 병목은 위에서 아래로 이동하는 것 같음.
초기에는 GPU 부족,
그 다음은 HBM 부족,
이제는 네트워크·광통신과 전력 인프라가 다음 병목 후보로 보임.
재미있는 건 병목이라는 게 멀리서 보면 모든 것이 병목처럼 보이지만, 가까이서 보면 차이가 있다는 점임.
예를 들어 MLCC도 AI 서버에 반드시 필요한 부품이지만, MLCC를 2배 넣는다고 AI 성능이 2배가 되지는 않음.
결국 진짜 병목은 '없으면 안 되는 것'이 아니라, 시스템 성능 확장을 제한하는 요소가 무엇인가의 문제이지 않을까?