메모리 업체들이 가격 상·하한선과 대규모 물량 약정이 포함된 LTA(장기공급계약)를 체결하면서 “이제는 매출총이익률(GM)이 더 이상 올라가지 않을 것”이라는 신호를 주고 있기 때문에, 조만간 ASP와 GM이 크게 하락할 것이라고 보는 시각이 있습니다.
하지만 이런 견해는 현재 데이터센터 메모리 시장에 얼마나 큰 미충족 수요가 존재하는지 충분히 반영하지 못하고 있다고 생각합니다.
메모리 용량은 직접적으로든 간접적으로든 LLM의 모델 크기, 컨텍스트 길이, TPS(tokens per second), 그리고 장기간에 걸친 에이전틱 작업을 수행하는 능력에 영향을 미칩니다. 따라서 공급 부족 문제가 없고 향후 가격도 지금 수준 혹은 그 이하로 유지될 것이라는 확신만 있다면, NVIDIA와 AMD는 의심할 여지 없이 자사 가속기에 지금보다 더 많은 HBM을 탑재할 것입니다. 또한 이들 업체와 하이퍼스케일러들은 서버 설계에서도 메인 메모리와 플래시 스토리지 용량을 더 크게 늘릴 것입니다.
https://x.com/i/status/2086547573834395788