Q: 마이크로소프트의 새로운 Fairwater 2 데이터센터는 어느 정도의 규모와 성능을 갖추고 있습니까?
A: 우리는 18~24개월마다 훈련 용량을 10배씩 늘리려고 노력해왔습니다. 이 데이터센터(Fairwater 2)는 GPT-4가 훈련된 환경보다 약 10배 증가된 규모입니다. 2년 반 전 Azure 전체 데이터센터에 있던 네트워크 옵틱(광학 장비)의 총량과 거의 맞먹으며, 약 500만 개의 네트워크 연결을 가지고 있습니다.
Q: 여러 지역(region)과 사이트(site)에 걸쳐 거대한 네트워크를 구축하는 이유는 무엇입니까? 미래에 두 개의 다른 지역을 모두 사용해야 할 정도로 거대한 모델의 훈련을 예상하는 것입니까?
A: 목표는 대규모 훈련 작업을 위해 여러 사이트에 분산된 컴퓨팅 파워(flops)를 하나로 모으는 것입니다. 현실적으로 이 인프라는 훈련뿐만 아니라 데이터 생성, 추론 등 다양한 워크로드에 사용될 것입니다. 하나의 작업에만 영원히 사용되지는 않습니다. 근처에 건설 중인 Fairwater 4도 1페타비트 네트워크에 연결하여 두 센터를 고속으로 연결할 것입니다. 또한, AI WAN을 통해 여러 Fairwater 센터가 건설 중인 위스콘신주 밀워키까지 연결됩니다. 이를 통해 모델 병렬화와 데이터 병렬화를 캠퍼스 전체, 심지어 다른 주까지 확장하여 하나의 훈련 작업을 수행할 수 있습니다.
Q: 데이터센터 설계 시 GB200과 NVLink 사용을 결정한 후, 추가적으로 고려해야 할 설계 요소들은 얼마나 많습니까?
A: 모델 아키텍처와 최적화된 물리적 플랜(설계) 사이에는 긴밀한 연관성이 있습니다. 또한, 미래에 나올 새로운 칩(예: Vera Rubin Ultra)은 전력 밀도와 냉각 요구사항이 완전히 다를 것이기 때문에, 하나의 사양에 맞춰 모든 것을 구축하지 않는 것이 중요합니다. 이는 한 번에 확장하고 고착되는 것이 아니라, 시간에 맞춰 지속적으로 확장해야 한다는 것을 의미합니다.
Q: 마이크로소프트가 작년 하반기에 데이터센터 임대 계획을 일부 철회하는 등 확장 속도를 늦춘 이유는 무엇입니까?
A: 핵심은 AI의 모든 단계(훈련, 추론 등)를 지원하기 위한 '플릿의 대체 가능성(fungibility)'을 확보하는 것이었습니다. 특정 세대의 기술로만 대규모 용량을 구축하는 것을 피하고자 했습니다. 훈련 용량뿐만 아니라 전 세계에 모델을 서비스하여 수익을 창출하는 것과의 균형이 중요했습니다. 또한, 여러 모델을 지원해야 한다는 점도 고려했습니다. 한 세대의 기술에 막대한 투자를 하고 고착되는 것을 원치 않았습니다. GB200 이후 Vera Rubin 같은 차세대 칩은 데이터센터의 전력 및 냉각 요구사항을 완전히 바꿀 것입니다. 따라서 워크로드, 지역, 타이밍을 고려하여 구축 속도와 위치를 조절하는 것이 중요합니다.
Q: Oracle 같은 경쟁사가 특정 비즈니스(베어메탈 호스팅)에 집중하며 빠르게 성장하고 있는데, 이 비즈니스를 포기한 것이 아쉽지 않습니까?
A: 단기간의 RPO(잔여 계약 가치)를 가진 단일 모델 회사의 호스터가 되는 것은 우리의 장기적인 사업 모델에 맞지 않았습니다. 우리는 5년이 아닌 50년을 내다보고 결정합니다. 우리의 목표는 AI 워크로드의 롱테일(long tail)을 지원하는 하이퍼스케일 비즈니스이며, 이를 위해 일부 선도적인 베어메탈 서비스 역량을 갖추는 것입니다. 5개 고객과의 5개 계약으로만 이루어진 비즈니스는 마이크로소프트의 비즈니스가 아닙니다.
Q: AI 작업의 지연 시간이 길어지면 데이터센터의 지리적 위치가 덜 중요해지는 것 아닙니까?
A: 좋은 질문입니다. 하지만 데이터 주권(data residency)과 같은 규제(예: EU 데이터 경계) 때문에, 비동기식 호출이라도 특정 지역 내에서 처리해야 하는 경우가 많습니다. 따라서 지역별로 고밀도 센터를 구축해야 합니다. 또한, 특정 워크로드는 스토리지(예: Cosmos DB)와의 근접성이 중요하기 때문에, 토폴로지(topology)는 계속해서 진화할 것입니다.
Q: 최근 Iris Energy, Lambda Labs 등과 파트너십을 맺고 외부 용량을 임대하고 있는데, 이는 직접 구축하는 전략과 상충되지 않습니까?
A: 그렇지 않습니다. 수요가 있는 곳에 다른 회사가 구축한 용량이 있다면 이를 활용하는 것은 좋은 전략입니다. 우리는 임대, 맞춤형 구축(build-to-suit), 심지어 GPU-as-a-Service까지 모든 형태의 용량 확보에 열려 있습니다. 심지어 네오클라우드(neocloud)들이 우리 마켓플레이스에 참여하는 것을 환영합니다. 고객이 Azure를 통해 네오클라우드의 용량을 사용하고, 동시에 Azure의 다른 서비스(컴퓨트, 스토리지 등)를 사용한다면 모두에게 이득이 됩니다.