Tao가 핫해졌던 계기가 템플러에서 70B 짜리 만들면서 핫해진건데, 그거보다 조금 더 큰 파라미터 모델인듯?
좀 더 정확하게 말하자면, 템플러는 기초 모델을 만든거고 0G에서 만든건 DiLoCoX라는 프레임워크를 만든거긴해요. (분산노드로 잘 학습시킬수 있는 도구 정도로 이해하시면 될거같음)
0G가 이 프레임워크를 가지고 차이나모바일? 이랑 협력해서 107B 모델까지 굴린거 같음
일단 자세히 읽어본건 아닌데, 궁금하신 분들은 요기보심댈듯
https://0g.ai/blog/dilocox-107b-decentralized-ai-training
===
그나저나, 재작년 정도에 0G가 나오고 아이오넷/에이셔가 나왔을때 까지만해도 AI Cloud = GPU 에 가까웠는데,,
그 사이 또 업계가 격변해서 요즘은 AI Cloud = Inference 시대가 된거 같아요.
예전에는 뉴스나 링크드인에 GPU이야기가 허구한날 나왔는데 요새는 그냥 프론티어 모델이나 모델 라우팅이야기 밖에 없네요
참빨리도 변하고 발전하는듯