Mistral Large 4("Le Chonk"): 1T-A49B sparse MoE 모델
벤치마크가 되게 정신없는데 뭔가 취사선택한 느낌이 들지만, GLM-5.3, Kimi K3 과는 견줄 수 있어보입니다.
가중치는 이번달 말에 공개됩니다.
This is only the beginning. ML4 is the first milestone on the roadmap funded by our €3 billion Series D — the largest equity round ever raised by a European technology company. That capital is already being put to work: we are significantly scaling up our compute capacity in our own European datacenters, and much more is coming online in the months ahead.
본문 하단에 보면 GPU 3000개로 RL 돌렸다는 이야기가 나오는데, 4.5조 펀딩 받은걸로 GPU 왕창 사서 스케일업 더 하려나 봅니다. 오픈웨이트 Fable 스케일 미스트랄을 내년엔 볼 수 있을듯?
https://mistral.ai/news/mistral-large-4/