📊AI 인프라: 부족한 걸 팔거나, 덜 쓰게 만들거나 (a16z) source

AI를 더 많이 돌리려면 칩부터 메모리·네트워크·전력까지, 기존 인프라의 설계 자체를 바꿔야

1. 한 사람이 맡기는 일이 중요해짐

• 단순 챗봇과 계속 추론하고 실행하는 에이전트는 연산 소비가 다름
• 수요 증가는 두 갈래. AI를 쓰는 사람이 늘어나고, 한 사람이 맡기는 업무에 필요한 연산도 커지는 것

• 가입자 수만 보면 AI 수요의 절반을 놓침. 문제는 그 속도를 물리적인 공급이 따라가기 어렵다는 데 있음
• 모델 활용은 빠르게 확산돼도, 반도체 생산능력을 늘리고 데이터센터에 전기를 연결하는 일은 느림

2. 잘 팔리는 AI와 돈을 잘 버는 AI

• 또 다른 핵심은 하드웨어 효율이 AI 기업의 수익성을 좌우할 수 있다는 것
• AI가 일을 많이 해줄수록 연산도 필요하니, 사용량 증가가 그대로 이익 증가로 이어지는 건 아님

• 결국 같은 업무를 얼마나 적은 비용으로 처리하느냐가 중요해짐
• AI를 많이 써도 돈이 남게 만드는 회사도 봐야 한다는 것

3. 그래서 인프라 수혜도 두 종류

• 부족한 것을 공급하는 쪽. 메모리·네트워크·전력·냉각처럼 AI를 더 돌리는 데 필요한 설비와 부품
• 부족한 것을 덜 쓰게 만드는 쪽. 맞춤형 칩, 효율적인 메모리 구조, 저전력 연결, 인프라 운영 소프트웨어처럼 같은 자원으로 더 많은 일을 처리하게 하는 기술

• 단순한 증설만이 아니라, 연산·메모리·데이터 이동·전력 소비를 함께 최적화하는 시스템

4. 결론

• 고객에게 얼마나 큰 비용을 아껴주고, 그중 얼마를 자기 이익으로 가져오느냐가 더 오래 볼 기준
• 부족해서 비싸게 파는 회사는 증설과 대체 기술을 경계해야 함

• 반대로 효율을 높이는 회사는 고객이 절약한 돈이 자기 매출과 마진으로도 돌아오는지 확인해야