사실 난 AI가 어떻게 훈련되는지도 모르고 탈중앙화 AI라는게 실현 가능성이 있는지도 모름.
$TAO $VVV 같은 티커들이 언급되기는 하는데, 솔직히 이게 시발 페이블 5 밴 쳐맞는거랑 뭔 상관임?이라고 생각하게 됨.
그래서 타오는 수년간 그 지랄하면서 쓸만한 모델을 내놓긴함? 베니스는 그냥 오픈라우터 하위호환일뿐이고.
오히려 각 국가별로 만드는 소버린 AI의 발전이 더욱더 현실적인 시나리오인 거 같음.
챗지피티한테 왜 "탈중앙화 AI 훈련이 중앙화된 시스템을 이기지 못하는지" 설명해달라고 해봄:
- 최첨단 AI 학습은 GPU가 많기만 하면 되는 게 아니라, 수천 개 GPU가 거의 하나의 컴퓨터처럼 빠르게 연결돼야 한다.
- 중앙화된 데이터센터는 GPU끼리 초고속으로 통신할 수 있는 NVLink, InfiniBand 같은 전용 네트워크를 쓴다.
- 탈중앙화 GPU 네트워크는 인터넷을 통해 연결되기 때문에 지연 시간과 속도 차이가 커서 학습 효율이 떨어진다.
- 대형 모델 학습은 GPU들이 계속 데이터를 주고받아야 해서, 네트워크가 느리면 GPU가 놀게 된다.
- 탈중앙화 환경에서는 한 노드가 꺼지거나 느려져도 전체 학습이 지연되거나 중단될 수 있다.
- 중앙화 데이터센터는 하드웨어, 전력, 냉각, 저장장치, 네트워크, 장애 복구를 한곳에서 통제할 수 있다.
- 탈중앙화 네트워크는 GPU 수가 많아 보여도 실제로는 통신 대기, 오류, 재시작 때문에 유효 성능이 낮을 수 있다.
- 탈중앙화 학습은 파인튜닝, 추론, 작은 모델 학습, 데이터 생성 같은 작업에는 유용할 수 있다.
- 하지만 프론티어 모델을 처음부터 학습시키는 프리트레이닝에서는 중앙화 데이터센터가 훨씬 유리하다.
- 핵심은 “누가 GPU를 더 많이 갖고 있냐”가 아니라 “GPU들을 얼마나 빠르고 안정적으로 하나처럼 움직이게 하냐”다.
당연히 크립토가 탈중앙화 메커니즘 구축에는 좋지만, 현실적으로 탈중앙화 AI가 가능해지려면 일단 위에 나열한 장비빨은 고사하고 사토시 2세가 나타나서 기적적인 어떤 탈중앙화 훈련 알고리즘을 내놓고 사망해야함.