AI 인프라의 다음 병목은 더 큰 GPU가 아니라, 어떤 요청을 어떤 칩과 커널과 위치에서 처리할지 가르는 세분화된 배치 능력이다.
• 훈련과 추론을 같은 데이터센터, 같은 칩, 같은 최적화 기준으로 보던 시대가 끝나가고 있다. 발표자들은 TPU8의 Zebrafish와 Sunfish, Nvidia와 Cerebras를 나눠 쓰는 prefill과 decode 사례를 들며, 토큰 수요가 충분히 커졌기 때문에 ASIC과 데이터센터까지 작업별로 쪼개는 경제성이 생겼다고 본다.
• Parallel Kittens의 핵심은 multi-GPU 성능이 더 이상 단일 CUDA 실력만의 문제가 아니라는 점이다. Llama prefill 같은 워크로드에서 networking이 전체 runtime의 최대 50%를 먹을 수 있다면, copy engine, TMA, register instruction, intra-SM과 inter-SM overlap을 고르는 능력이 곧 제품 원가와 지연시간을 좌우한다.
큰 그림은 분명하다. AI 확장의 다음 단계는 “더 큰 모델을 더 많이 돌리는 것”이 아니라, query, kernel, accelerator, data center를 세밀하게 맞물리게 만드는 인프라 운영 능력의 경쟁이다.
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
__Good Vibe AI