언더스탠딩 : 세상의 모든 지식
━━━━━━━━━━━━━━━━
1. 핵심 요약
① 메모리 수요와 공급의 격차가 구조적으로 커져 효율화만으로는 해소할 수 없는 수준에 도달했고, 메모리가 AI 인프라의 중심에 서는 상황이 당분간 지속될 전망
② 모델 크기·사용자 수·컨텍스트 길이·에이전트 수가 각각 커지는 효과가 더하기가 아니라 곱하기로 작용해 메모리 수요가 이론상 최대 만 배까지 폭증할 수 있음
③ GPU 옆에 탑재되는 HBM은 물리적 공간·발열·수율 한계로 용량 확장이 어려워, KV캐시 같은 저가치 데이터를 HBM에 무분별하게 저장하면 GPU를 불필요하게 추가 구매하는 비효율로 이어짐
④ 이 때문에 HBM-외부 메모리(CXL)-SSD로 이어지는 멀티티어 메모리 구조가 데이터센터의 핵심 과제로 떠올랐고, CXL은 데이터 복사 없이 여러 서버가 하나의 메모리 풀을 공유하게 해 네트워크 기반 복제 방식의 병목을 해결
⑤ 실제로 HBM뿐 아니라 DDR5, 낸드/SSD(샌디스크 주가 50배 상승 등)까지 메모리 밸류체인 전반의 수요 확대가 실적으로 확인되고 있음
━━━━━━━━━━━━━━━━
2. 엑시나 김진영 대표, 삼성·하이닉스 출신 CXL 개발자
① 컴퓨터공학 전공, 2000년대 중반 삼성 메모리솔루션(엔터프라이즈 SSD 등) 개발로 커리어 시작
② SSD가 등장 2년 만에 전 세계 노트북·서버에 표준으로 탑재되는 것을 보며 메모리 시장에 새로운 기회가 계속 생길 수 있다는 확신을 얻음
③ SK하이닉스에서 차세대 아키텍처를 담당하던 중 CXL 기술을 접하고 'SSD 이상의 기회'라 판단, 2022년 초 창업(현재 4년 반차)
━━━━━━━━━━━━━━━━
3. AI 시대, 메모리가 인프라의 중심이 된 이유
① 클라우드 시대 진입 이후 모든 데이터가 메모리에 저장될 수밖에 없는 구조가 되었고, 이는 과거 '빅데이터' 트렌드의 연장선
② AI는 인류가 쌓아온 데이터에서 '돈 되는 가치'를 찾아내는 도구이며, 이를 위해 연산(GPU)뿐 아니라 데이터 저장·생성 인프라(메모리) 투자가 필수
③ 예전엔 사람이 만든 데이터만 저장했다면 이제는 AI가 하나의 답을 만들기까지 생성하는 중간 결과물까지 메모리에 계속 쌓이는 구조로 메모리 수요가 구조적으로 증가
━━━━━━━━━━━━━━━━
4. 모델·사용자·컨텍스트·에이전트, 곱하기로 폭증하는 데이터
① 모델 크기 지속 증가, 유료 구독 사용자 지속 증가(앤트로픽 등 실적 급증이 방증)
② 컨텍스트(입력) 길이가 1년에 1배(두 배)씩 기하급수적으로 증가, 문서·코드 전체를 그대로 밀어넣는 사용 패턴이 보편화
③ 에이전틱 AI 확산으로 여러 모델을 엮어 쓰는 에이전트 수도 함께 증가
④ 네 가지 요인이 더하기가 아니라 곱하기로 작용해 각각 10배씩만 커져도 전체 데이터량은 만 배로 폭증 가능(카이스트 김정호 박사의 '메모리 천 배' 발언도 오히려 보수적이라는 평가)
━━━━━━━━━━━━━━━━
5. KV캐시: 메모리 수요를 밀어올리는 핵심 메커니즘
① KV캐시는 GPU가 한 번 계산한 토큰 연산 결과를 메모리에 저장해 다음 토큰 계산 시 재사용, GPU 재연산 비용을 줄이는 기술
② 장기간 이어지는 AI와의 대화에서 응답 속도가 갈수록 빨라지고 이전 맥락을 기억하는 것도 KV캐시 덕분
③ KV캐시가 많이 쌓일수록(하루 지난 데이터를 다시 연산하지 않아도 되므로) 인프라를 더 효율적으로 구성할 수 있어 추론(인퍼런스) 단계에서 메모리 중요성이 커짐
━━━━━━━━━━━━━━━━
6. HBM의 역할과 물리적 한계
① HBM(High Bandwidth Memory)은 GPU 옆·같은 패키지 안에 두어 극단적으로 대역폭을 키운 메모리로, 최근 GPU 혁신은 사실상 HBM의 대역폭·용량 확대에 의존
② GPU와 같은 물리적 패키지 공간에 들어가야 해 발열, 적층(스택) 수율 한계로 용량 확장이 근본적으로 어려움
③ KV캐시처럼 상대적으로 가치가 낮은 데이터를 HBM에 무분별하게 저장하는 것은 HBM을 잘못 쓰는 것이며, 결과적으로 GPU를 더 많이 구매해야 하는 비효율로 이어짐
━━━━━━━━━━━━━━━━
7. 멀티티어 메모리 구조: HBM-외부 메모리-SSD
① HBM에는 가치가 높고 자주 쓰는 데이터만, 덜 쓰는 데이터는 GPU 서버에 붙은 외부 메모리나 다른 서버 메모리로, 더 드물게 쓰는 데이터는 SSD 등 스토리지로 계층화하는 방식이 확산
② 이러한 멀티티어 메모리 활용은 현재 대규모 인프라를 운영하는 모든 회사가 가장 집중하는 기술 과제
③ 메모리 기업 실적에서 HBM뿐 아니라 DDR5 매출 비중도 크게 나타나며, 샌디스크 주가가 50배 상승한 것도 콜드 데이터까지 SSD로 계층 관리되는 흐름과 연결
━━━━━━━━━━━━━━━━
8. CXL의 해법: 데이터 복사 없는 공유 메모리 풀
① 현재는 네트워크 기반(서로 다른 서버 간 데이터 카피)으로 메모리를 공유하는 방식이라 데이터 이동 시간, 중복 저장이 인프라 병목으로 작용
② CXL(Compute Express Link)은 CPU·GPU 등 다양한 장치·컴포넌트를 연결하는 차세대 표준으로, 메모리를 훨씬 더 유연하고 확장 가능하게 붙일 수 있게 함
③ 하나의 거대한 메모리 풀(공유 오피스 개념)을 만들어 여러 서버가 데이터를 복사하지 않고도 자신의 메모리인 것처럼 참조해 쓸 수 있음
④ CXL 3점대를 지원하는 CPU 및 관련 제품이 올해 말~내년 초 시장에 출시될 예정으로, 본격적인 시장 채택 단계에 진입
━━━━━━━━━━━━━━━━
9. 투자자가 볼 포인트
① FACT: 메모리 수요·공급 격차가 구조적으로 확대되고 있으며, HBM뿐 아니라 DDR5·샌디스크(주가 50배 상승) 등 메모리 밸류체인 전반의 실적으로 이미 확인됨
② 산업 구조 변화: AI 인프라 투자의 병목이 GPU 연산력에서 메모리 용량·대역폭·계층화(HBM-외부메모리-SSD)로 이동하고 있으며, CXL 같은 연결 표준이 메모리 확장의 핵심 기술로 부상(CXL 3.x 지원 제품 올해 말~내년 초 출시 예정)
③ 수요·공급 변화: 모델·사용자·컨텍스트·에이전트 수 증가가 곱셈적으로 작용해 메모리 수요가 이론상 최대 만 배까지 폭증할 수 있다는 진단이며, 공급 능력이 이를 따라가기 어려운 구조라는 점이 주목됨
④ 밸류체인·KPI: HBM 외에 DDR5·낸드/SSD까지 메모리 전 계층 수요 확대 가능성과 CXL 생태계(연결 표준·컨트롤러) 및 멀티티어 메모리 관리 솔루션 기업의 역할 확대 가능성에 주목할 필요가 있으며, 앞으로 CXL 3.x 지원 제품의 실제 출시·채택 속도와 메모리 기업들의 HBM·DDR5·낸드 매출 비중 변화를 확인해야 함
https://www.youtube.com/watch?v=5cOS2mK4l_M&t=3s