Jeff Dean이 말한 AI의 다음 병목은 더 큰 모델이 아니라, 에이전트가 오래 생각하고 빠르게 검증하며 싸게 추론하게 만드는 시스템 설계다.
• Jeff Dean은 AI가 이미 junior engineer 수준에 꽤 가까워졌고, 2027년에는 ML 시스템이 스스로 실험을 쪼개고 실행해 성능을 개선하는 자동화가 커질 것이라고 봤다. 이는 AI 경쟁의 중심이 모델 호출에서 끝나는 제품이 아니라, 실험 루프와 평가 루프를 설계하는 능력으로 옮겨간다는 뜻이다.
• 그가 2026년의 'fits in memory moment'로 꼽은 것은 고성능, 저전력, 저지연 inference hardware다. 에이전트가 며칠이나 몇 주 동안 문제를 풀려면 latency와 energy가 곧 제품 가능성을 결정하므로, GPU나 TPU 같은 범용 가속기 위에 얹는 방식만으로는 충분하지 않을 수 있다.
• Dean은 데이터 이동이 계산보다 에너지 비용이 약 1000배 크다고 지적하며, batching 같은 훈련 관행도 사실은 모델 문제가 아니라 systems와 data IO 문제라고 설명했다. 이 관점은 AI 창업자에게 중요한 경고다. 성능이 안 나오는 이유를 모델 탓으로만 보면, 정작 제품의 원가와 반응속도를 좌우하는 병목을 놓친다.
큰 그림은 분명하다. AI 시대의 희소한 능력은 코드를 많이 쓰는 능력이 아니라, 무엇을 시킬지 고르는 taste와 그 일을 오래, 빠르게, 검증 가능하게 굴리는 시스템 감각이다.
AI의 최신 흐름과 다양한 큐레이션 된 정보를 제공합니다.
__Good Vibe AI