인터넷으로 연결된 이질적인 소비자용 GPU 환경에서 노드의 잦은 이탈을 극복하고, 8B급 모델의 사전학습을 완주할 수 있음을 증명한 최초의 실증 시스템.
주요 성과 및 데이터
• 학습 모델: Pluralis-8B (실제 파라미터 8.6B, Dense-equivalent 약 12B 규모)
• 학습 데이터: 500B 토큰 (FineWeb-8B 기반)
• 운영 기간: 40일간 지속 운영
• 참여 규모: 누적 330개 GPU 노드 (176명의 개별 운영자 참여, 동시 접속 최대 약 60대)
• 하드웨어 구성: 주로 RTX 4090·5090, L40S, RTX 6000 등 소비자/워크스테이션 계열 GPU
• 네트워크 변동: 학습 중 노드 진입 669회 / 이탈 607회의 극심한 동적 환경
• 학습 효율: 처리 속도 약 17만 tokens/s, 중앙화된 H100 클러스터 대비 연산 효율 63% 달성 (학습 로스는 중앙화 실험과 유사하게 수렴)
핵심 구현 기술 (Orchestration Layer)
• 파이프라인 단계 분할 (Pipeline Stage Sharding): 모델 전체를 복제하지 않고 7개 스테이지로 쪼개어 배포. 참여자는 본인이 담당한 스테이지의 가중치만 보유하고 데이터가 순서대로 통과하는 방식.
• 통신량 100배 압축: GPU 간에 주고받는 엑티베이션(Activation)과 그래디언트(Gradient)를 Low rank Subspace(고차원 데이터를 더 적은 수의 핵심정보로 압축되어 표현될수 있는 상태)로 압축하여 대역폭 병목 해결.
• AsyncSPARTA (비동기 최적화): 매 스텝마다 모든 노드가 동기화되기를 기다리지 않음. 각 노드가 로컬에서 독립적으로 학습한 뒤, 20 스텝마다 가중치의 5%만 비동기적으로 평균을 내어 결합.
• 동적 노드 교체 메커니즘: 느려지거나 연결이 끊긴 GPU가 발생해도 기다리지 않고 건너뜀. 새로 진입한 GPU를 비어 있는 파이프라인 스테이지에 자동 배치하여 장애 허용성(Fault tolerance) 확보.
패러다임의 변화 및 의의
• 파편화된 컴퓨트의 자본화: 중앙 데이터센터가 흡수하지 못하는 전 세계의 유휴 소비자 GPU를 프로토콜을 통해 하나의 거대한 생산적 컴퓨트 자원으로 묶을 수 있음을 증명.
•프로토콜 러닝 (Protocol Learning): 참여자가 모델의 전체 가중치를 가지지 않고 일부 스테이지의 가중치만 분할 보유함.
•궁극적 지향점: 특정 빅테크 기업이 모델을 독점하거나 회수할 수 없는 공동 학습 및 공동 소유 모델이자 탈취 불가능한 모델 생태계 구축.
현실적인 제약 및 과제
• 중앙화된 통제 요소 존재: 완전히 퍼미션리스한 구조는 아님. Pluralis가 운영하는 단일 승인자가 참가자 검사/승인을 수행하며, 체크포인트 및 모니터링도 Pluralis hosted 서비스에 의존.
• 진입 장벽이 있는 하드웨어 요구사항: 최소 VRAM 24GB, RAM 80GB, 다운로드 200Mbps, RTT 80ms 이하의 고성능 개인 PC/워크스테이션 환경 필요.
• 스케일업 미증명: 8.6B 규모에서만 실증됨. 수백B 파라미터급의 프론티어 모델에서도 동일한 효율과 수렴성을 보일지는 미지수.
• 경제성 검증 부재: 전기세, 참여자 보상, 하드웨어 감가상각, 노드 검증 비용 등을 모두 포함했을 때 중앙화 데이터센터보다 비용 효율적인지 논문에서 명확히 제시하지 않음.
• 보안성 한계: 가중치 유출을 막는 완벽한 모델 탈취 불가능 상태는 아니며, 이를 달성하려면 별도의 Unextractable Protocol Models 기술 결합이 추가로 필요함.
Agora는 데이터센터 중심의 프론티어 인프라를 당장 대체하겠다는 기술이 아니고, 분산 환경의 4대 고질적 병목인 [느린 인터넷, 노드 이탈, 하드웨어 이질성, 가중치 동기화]를 프로토콜 레이어에서 훌륭하게 해결해 낸 '파편화된 컴퓨트 자원의 전환 가능성'을 보여준 이정표라고 생각함.
https://x.com/Pluralis/status/2077822216960712894