📰Memory Long source

1. 엔비디아가 끝난다는 얘기는 아님

• 학습은 여전히 GPU, HBM, 네트워킹이 전부 중요함
• 이 영역은 엔비디아가 계속 강함

• 다만 AI 수요가 전부 학습에만 머물진 않음

2. 추론 시장이 쪼개지는 중

• 사람이 답을 기다리는 추론은 속도가 중요함
• 그래서 Cerebras, Groq 같은 빠른 추론칩도 의미가 있음

• 하지만 이 시장은 사람의 시간에 묶임

3. 진짜 큰 건 에이전트 추론

• AI가 답만 하는 게 아니라, 직접 작업하고 기록을 이어가는 구조
• 이때는 빠른 응답보다 긴 컨텍스트, 상태 저장, 메모리가 더 중요함

• 사람이 기다리지 않으면 조금 느려도 됨

4. 그래서 메모리 계층이 중요해짐

• 메모리, HBM은 계속 오랫동안 중요할 것
• 다만 에이전트 추론에서는 DRAM, SSD, 스토리지, CPU까지 봐야 함

• GPU 때려박는 것보다, 적당한 연산 + 큰 메모리 + 낮은 비용 조합이 중요