1. Maia 200 상용화 및 Maia 300 출시
Microsoft는 2027년부터 Azure Maia 제품군을 멀티 기가와트(GW) 규모로 확대 배치하고, 자체 제품과 서비스의 주력 AI 추론 시스템으로 활용할 계획입니다.
현재 Maia 200은 Microsoft Copilot을 비롯한 상용 서비스에 적용되고 있으며, OpenAI 모델, 자체 MAI 모델, 주요 오픈소스 모델을 구동하고 있습니다. GitHub Copilot과 Microsoft Foundry도 연말까지 도입할 예정입니다.
미국·유럽·호주에 배치 중인 Maia 200은 주요 GPU 인프라 대비 와트당 토큰 처리량을 최대 1.7배 향상시키고 있습니다.
2. Maia 300 성능 및 특징
Maia 300은 롱컨텍스트 추론, 메모리 집약적 작업, 디코딩 중심의 AI 추론, 다단계 에이전틱 AI에 최적화된 3세대 자체 가속기입니다.
시스템 전반의 효율성 개선을 통해 주요 GPU 기반 시스템 대비 메가와트당 토큰 처리량이 40% 높을 것으로 예상됩니다. 또한 96개 가속기로 구성된 랙에서는 Maia 200 대비 최대 7배의 토큰 처리량을 제공합니다.
핵심 기술은 다음과 같습니다.
(1) 데이터 이동 최소화: AI 추론의 주요 병목이 연산 능력보다 데이터 이동 효율로 변화하고 있습니다. 소프트웨어 정의 데이터플로와 AI 기반 커널 최적화로 메모리 접근 및 데이터 이동량을 줄입니다.
(2) HBM4 대역폭 확대: HBM4 8스택을 탑재해 18TB/s의 메모리 대역폭과 950W TDP를 구현합니다. 온칩 SRAM을 스크래치패드 메모리로 활용해 HBM 접근 부담을 낮춥니다.
(3) 칩렛 아키텍처: 연산, 메모리 컨트롤러, I/O 기능을 분리해 효율성과 확장성을 개선합니다. 연산 칩렛은 TSMC N2P 공정을 사용합니다.
(4) KV Cache 최적화: 개선된 MXFP4 등 저정밀도 데이터 형식을 활용해 연산 및 KV Cache 저장에 필요한 메모리 용량과 대역폭을 줄입니다. 이를 통해 더 긴 컨텍스트와 높은 처리량을 지원합니다.
(5) Scale-up 네트워킹: 이더넷 기반 맞춤형 AI 통신 기술을 적용합니다. 가속기 간 고대역폭 연결을 텐서 병렬화에 최적화하고, 단일 랙부터 데이터센터 규모까지 확장할 수 있도록 설계했습니다.
3. Maia 300 핵심 사양
(1) 출시 예정: 2027년
(2) 반도체 공정: TSMC N2P
(3) HBM: HBM4 8스택, 가속기당 약 288GB 용량 및 18TB/s 대역폭
(4) 가속기 전력: TDP 950W
(5) 랙 구성: 가속기 96개, 총 HBM 용량 27.6TB, 총 HBM 대역폭 1.7PB/s
(6) 랙 전력: 167kW
(7) GPU 대비 효율: 주요 GPU 기반 시스템 대비 MW당 토큰 처리량 40% 향상 예상
(8) Maia 200 대비 성능: 랙당 토큰 처리량 최대 7배 향상
Microsoft는 이러한 시스템 집적도와 메모리 대역폭 확대를 통해 랙당 동시 AI 처리량을 높이고, 대규모 AI 서비스 운영의 전력 효율과 비용 경쟁력을 개선할 계획입니다.