🔋구글 AI 인프라 총괄이 말하는 진짜 병목 source

1. 데이터센터는 이제 PU/TPU에 맞춰 전력, 냉각, 네트워크까지 함께 설계하는 거대한 전용 컴퓨터에 가까워지고 있음

2. 구글은 FLOPS보다 실제 워크로드가 얼마나 제대로 돌아가는지를 뜻하는 Goodput을 훨씬 중요하게 봄

3. 가속기 10만 개 규모에서는 하루에도 여러 번 장애가 발생하기 때문에 성능보다 안정성과 복구 능력이 중요함

3. 구글의 목표는 토큰 생성 능력을 6개월마다 2배 늘리는 것. 그 개선의 상당 부분은 모델과 소프트웨어에서 나옴

4. 이게 하드웨어 수요 감소를 뜻하진 않음. 추론 수요는 빠르게 증가해 기존 장비로는 부족, 데이터센터를 계속 건설 중

5. 특히 장시간 작동하는 에이전트가 늘어나면 CPU, DRAM, 스토리지, 네트워크가 훨씬 많이 필요해짐

6. 네트워크에서는 광통신의 중요성이 커지고 있으며 구글은 Optical Circuit Switching을 활용해 장애가 발생한 TPU 랙을 우회함

7. 구글이 장기적으로 가장 근본적인 병목이라고 지목한 것은 전력임

8. 데이터센터 전력은 수년 전부터 전력회사와 계획해야 하며, 송전망/발전/ESS까지가 데이터센터 투자의 일부임

9. 심지어 구글이 우주 데이터센터까지 실제로 검토하는 가장 큰 이유 역시 지구에서의 전력 공급 제약 때문임

✍️인프라 경쟁 단위는 GPU → 서버 → 랙 → 데이터센터 → 전력망으로 확장됨. HBM만 보면 된다는 thesis는 깨지고 있음. 가장 구조적이고 대체하기 어려운 병목은 전력