1. 물량과 가격 상한을 먼저 묶는 대응
미국 하이퍼스케일러들은 2027~2028년까지 가격을 묶는 장기계약을 맺었다. 마이크론은 데이터센터 고객 수요의 절반도 채우지 못한다고 하면서 2030년을 넘기는 계약까지 맺었고 이 계약에는 연간 구매량, 반드시 사야 하는 조건, 가격 밴드, 선급금이 들어감
2. 비싼 메모리를 덜 쓰는 설계
가장 큰 수단은 KV 캐시를 HBM에서 LPDDR, SSD, CMX로 내려 두는 것이다. 비트당 가격은 낸드가 DRAM보다 훨씬 싸다. 디코드를 SRAM 기반 그록 랙에 나누는 것도 HBM 사용을 줄이는 방향이다. 연산 정밀도를 4비트(FP4)로 낮춰 같은 메모리에 더 큰 모델을 담는 것도 같은 맥락
3. 버리던 메모리를 다시 쓰는 대응
메타는 2026년 학회(ISCA) 논문에서 수명이 끝난 서버의 DDR4를 떼어 CXL 연결 장치로 새 서버에 붙이는 방법을 공개했다. 이를 수백만 대 규모로 운영해 일부 추론 작업에서 서버 수를 최대 25% 줄였다. 메모리가 쌀 때는 계산이 맞지 않던 방법이 가격 급등으로 맞게 됐다. 마벨은 8월 이 용도의 CXL 칩을 하이퍼스케일러와 함께 개발했다며 내놓음
4. 비용을 넘기는 대응과 우선순위
늘어난 비용은 설비투자 증액으로 먼저 흡수됐고, 클라우드 요금 5~10% 인상이 거론된다. 메모리를 많이 쓰는 인메모리 데이터베이스 같은 서비스가 먼저 오를 대상으로 꼽힘
여기서 CMX 층을 주목해보면 좋을듯