"AI 추론 서비스의 필수 요건인 '초당 토큰 처리량'이 전적으로 메모리 대역폭에 달려 있음을 업계가 명확히 인식하지 못하고 있다"고 지적했다.

이러한 관점에서 그는 메모리를 최우선으로 고려해 대역폭을 설정하고 활용도를 극대화하는 '메모리 중심 컴퓨팅'을 새로운 대안으로 제안했다. 연산 자원을 앞세우고 메모리 용량과 패키징, 전력 문제를 나중에 고민하던 기존의 설계 순서를 완전히 뒤바꿔야 한다는 논리다.

https://www.finance-scope.com/article/view/scp202608280001?utm_source=telegram&utm_medium=social&utm_campaign=free_share